Abstract In Near-infrared (NIR) spectroscopy qualitative analysis, noise caused data quality problem has been a bottleneck to further enhance the prediction accuracy. Appropriate preprocessing methods can reduce the influence of noise; and robust models have higher tolerance for noise disturbance. However, these methods treat all the wavelengths equally. In fact, the spectra at different wavelengths may have highly different level of noise. This paper presents a new noise-level-penalizing robust Gaussian process (NLP-RGP) regression for NIR spectroscopy quantitative analysis. The novel noise level penalizing mechanism penalize the spectra features according to their noise level, i.e., encourage the model to prefer the less noisy features over high noisy features. Gaussian process (GP) is a nonparametric machine learning method based on kernel and Bayesian inference framework; with a noise model of heavy-tailed distribution, robust Gaussian process can handle the abnormal sample data better. Experiments were taken on the determination of the total soluble solids content of navel oranges based on their surface NIR spectra. The NLP-GP outperforms the robust Gaussian process model and least squares support vector machines (LS-SVM), the state of art method. Moreover, the NLP-RGP performs even better than the NLP-GP, achieving the best prediction accuracy among all the models. This demonstrates the effectiveness of noise level penalizing mechanism, and the noise level penalizing mechanism and robust mechanism of Gaussian process can be integrated together well.

中文翻译：

---

噪声水平对近红外光谱定量分析的鲁棒高斯过程回归不利

摘要 在近红外（NIR）光谱定性分析中，噪声引起的数据质量问题一直是进一步提高预测精度的瓶颈。适当的预处理方法可以减少噪声的影响；稳健的模型对噪声干扰具有更高的容忍度。然而，这些方法平等地对待所有波长。事实上，不同波长的光谱可能具有高度不同的噪声水平。本文提出了一种新的噪声水平惩罚鲁棒高斯过程 (NLP-RGP) 回归，用于 NIR 光谱定量分析。新的噪声水平惩罚机制根据它们的噪声水平惩罚光谱特征，即鼓励模型优先选择噪声较小的特征而不是高噪声的特征。高斯过程（GP）是一种基于核和贝叶斯推理框架的非参数机器学习方法；采用重尾分布的噪声模型，鲁棒高斯过程可以更好地处理异常样本数据。基于脐橙的表面近红外光谱测定其可溶性固形物总含量的实验。NLP-GP 优于鲁棒的高斯过程模型和最小二乘支持向量机 (LS-SVM)，这是最先进的方法。此外，NLP-RGP 的性能甚至比 NLP-GP 更好，实现了所有模型中最好的预测精度。这证明了噪声级惩罚机制的有效性，并且噪声级惩罚机制和高斯过程的鲁棒机制可以很好地结合在一起。采用重尾分布的噪声模型，鲁棒高斯过程可以更好地处理异常样本数据。基于脐橙的表面近红外光谱测定其可溶性固形物总含量的实验。NLP-GP 优于鲁棒的高斯过程模型和最小二乘支持向量机 (LS-SVM)，这是最先进的方法。此外，NLP-RGP 的性能甚至比 NLP-GP 更好，实现了所有模型中最好的预测精度。这证明了噪声级惩罚机制的有效性，并且噪声级惩罚机制和高斯过程的鲁棒机制可以很好地结合在一起。采用重尾分布的噪声模型，鲁棒高斯过程可以更好地处理异常样本数据。基于脐橙的表面近红外光谱测定其可溶性固形物总含量的实验。NLP-GP 优于鲁棒的高斯过程模型和最小二乘支持向量机 (LS-SVM)，这是最先进的方法。此外，NLP-RGP 的性能甚至比 NLP-GP 更好，实现了所有模型中最好的预测精度。这证明了噪声级惩罚机制的有效性，并且噪声级惩罚机制和高斯过程的鲁棒机制可以很好地结合在一起。基于脐橙的表面近红外光谱测定其可溶性固形物总含量的实验。NLP-GP 优于鲁棒的高斯过程模型和最小二乘支持向量机 (LS-SVM)，这是最先进的方法。此外，NLP-RGP 的性能甚至比 NLP-GP 更好，实现了所有模型中最好的预测精度。这证明了噪声级惩罚机制的有效性，并且噪声级惩罚机制和高斯过程的鲁棒机制可以很好地结合在一起。基于脐橙的表面近红外光谱测定其可溶性固形物总含量的实验。NLP-GP 优于鲁棒的高斯过程模型和最小二乘支持向量机 (LS-SVM)，这是最先进的方法。此外，NLP-RGP 的性能甚至比 NLP-GP 更好，实现了所有模型中最好的预测精度。这证明了噪声级惩罚机制的有效性，并且噪声级惩罚机制和高斯过程的鲁棒机制可以很好地结合在一起。实现所有模型中最好的预测精度。这证明了噪声级惩罚机制的有效性，并且噪声级惩罚机制和高斯过程的鲁棒机制可以很好地结合在一起。实现所有模型中最好的预测精度。这证明了噪声级惩罚机制的有效性，并且噪声级惩罚机制和高斯过程的鲁棒机制可以很好地结合在一起。