青贮玉米中水分检测方案(近红外光谱仪)

维普资讯 http：//www.cqvip.comVol.27，No.8，pp1514-1518August， 2007光谱学与光谱1A分析Spectroscopy and Spectral Analysis第27卷，第8期2007年8月 维普资讯 http：//www.cqvip.com光谱学与光谱分析第8期1515 近红外光谱分析青贮玉米 NDF 中判别异常光谱的研究 刘 强1，罗长兵2，陈绍江3，孟庆翔1* 1.中国农业大学动物科技学院，北京 100094 2.北京世农绿方高新技术发展中心，北京 100094 3.国家玉米改良中心，北京 100094 摘 要 对近红外光谱分析青贮玉米中性洗涤纤维(NDF)中异常光谱的判别进行了研究。该试验通过将马氏距离阈值分别设定为3(固定值)、2倍马氏距离平均值和马氏距璃平均值+2倍马氏距离标准差三种不同值，分别判别和剔出建模过程中的异常光谱，比较不同的阈值设定对模型效果的影响。结果表明，当马氏距离阈值设为3(固定值)时，异常光谱剔出不收敛，可靠性不高。当马氏距离阈值设为2倍马氏距离平均值时，剔出后模型的相关系数、标准差、决定系数及综合得分均低于剔出前，可靠性不高。只有当马氏距离阈值设定为马氏距离平均值十2倍马氏距离标准差时，预测模型的最高相关系数r达到0.97，标准差为2.456，模型预测效果最佳。因此，将马氏距离阈值设定为马氏距离平均值+2倍马氏距离标准差对近红外光谱分析青贮玉米NDF中异常光谱判别的可行性较高，在这种情况下易出异常光谱后模型效果最佳。 关键词 近红外光谱；青贮玉米；中性洗涤纤维；异常光谱；马氏距离 中图分类号：0657.3 文献标识码： A 文章编号：1000-0593(2007)08-1514-05 引 言 近红外光谱分析技术是一种快速、无损、无公害的多组分同时分析的现代技术，近年来广泛应用于农产品、石油化工、医药等领域的质量分析1.2)。青贮玉米是反刍动物营养中重要的饲料原料，中性洗涤纤维(NDF)是其主要成分，可以为动物提供能量。传统方法测定测贮玉米 NDF 速度慢、流程长、成本高，采用近红外光谱分析法可以解决上述缺点。然而，应用此法分析青贮玉米 NDF 其判别异常光谱尤其重要，因为在近红外光谱分析中，异常光谱的判别和剔出是提高模型稳定性的一个很重要的环节。 目前在近红外光谱定量分析中，导致异常光谱产生的主要原因包括：测量仪器和性能参数的变化、测量方法和环境的变化、以及样品本身的变化等13。马氏距离是判别分析光谱异常的常用指标之一，建模(校正)光谱集中马氏距离的平均值反映了该校正集光谱特征的范围，也就是相应数学模型的适配范围的大小，而校正集中各光谱马氏距离的标准差则反映了校正集中各光谱间的离散程度及差异的大小。所谓建模样品集中的异常光谱是对该数学模型而言的，显然应当考虑建模样品集的光谱特征。目前常用的确定异常光谱值的方 法有利用某一固定的马氏距离值作为判断异常光谱的阈值4，这种方法未考虑不同模型校正集光谱的特征范围大小；也有利用马氏距离平均值的2倍作为判断异常值的阈值，这种判断方法未考虑校正集光谱间的离散程度。本文提出了用马氏距离的平均值加两倍马氏距离的标准差作为判定异常值的阈值，是比较全面的兼顾了校正集光谱的主要特征，大致相当于校正集光谱中离群水平为4.54%的光谱作为异常光谱。然而，如何设定马氏距离的阈值是利用马氏距离剔出异常光谱过程中首要解决的问题，本文通过设定不同马氏距离阈值分别判别和剔出建模过程中的异常光谱，比较不同的阈值设定对模型效果的影响。 1方法原理 1.1 主成分分析 校正集样品的主成分分析：通过校正集样品的光谱矩阵A[mXn](m为样品个数，n为光谱数据点数)，利用非线性迭代偏最小二乘法(non-linear iterative partial least squares，简称 NIPALS算法)，计算指定光谱主因子f下的载荷矩阵P[fXn]和校正集样品的光谱得得矩阵T[m×f]. 1.2 马氏距离 ( 收稿日期：2006-05-25，修订日期：2006-10-09 ) ( 基金项目：国家自然科学基金项目(30270944)和国家杰出青年基金项目(30125033)资助 ) ( 作者简介：刘 强，1981年生，中国农业大学动物科技学院硕士研究生 e-mail： qxmeng@cau. edu. cn ) 光谱的马氏距离是指样本光谱与标准光谱集的平均光谱之间的距离，计算公式如下， Cov 为标准光谱计因子分析中得分阵(Score)的协方差阵，ti为样本i的得得(Score)向量，t为标准光谱集每一因子的平均得分值。对光谱数据标准化处理后，每个样本的马氏距离大小由下式决定： hg可用来衡量一个样本对于整个标准样品集影响(Lever-age)。在近红外定量分析中，h；表达了样本i对回归模型影响大小，如果 ha太大，表明该回归模型对i样本的依赖性较大，对模型稳定性不利，换句话说，i样本可能异常。 1.3 导致异常光谱的原因及其对模型的影响 异常光谱的产生主要是由误操作、仪器异常以及环境变化或者样品本身引起的。主要包括测量仪器和性能参数的变化、测量方法的变化、测量环境的变化、样品物理或机械特性的变化、样品来源的变化等。异常光谱会影响模型定量分析结果的准确度。 2 试验部分 2.1 仪器及软件 试验仪器为 DA7200 二极管阵列近红外光谱分析仪(Perten， Sweden)。 2.2 样品制备及化学值测定 将采自北京、承德两地的不同基因型玉米制成玉米全株青贮和玉米秸秆青贮样品，发酵60天后，开瓶取出样品制成风干样，共计141份，并用3100型旋风磨 (Perten， Sweden)粉碎后待用。所有样品的中性洗涤纤维(NDF)和酸性洗涤纤维(ADF)含量按 Van Soest方法5进行测定。 2.3 光谱收集 将一定量玉米青贮样品倒入直径75 mm的分析杯内，表面刮平，在950~1650 nm谱区范围内进行扫描，收集样品的吸收光谱。为消除样品的不均匀性，减小误差，每种样品重装2次，每次重复扫描2次。 2.4 定量分析方法 本试验软件采用中国农大和世农绿方联合自主开发的《GWNIRUSB2004—QuantSystem》定量分析软件，处理方法采用中心化十一阶导数11点平滑，参与波段1100~1600nm， 建立模型的化学计量学方法为偏最小二乘(PLS)分析法。试验样品是从141个青贮玉米样品中按化学值高低顺序排列均匀挑选出27个具有代表性的样品作为模型性质的检验，剩余114个样品用于建立模型，不剔除异常样品的模型预测效果如表1所示。 3 结果与讨论 3.1 样品化学分析结果 表2为141个样品 NDF 的化学分析结果，其中包括校 正集样品和验证集样品。由表可见，样品中 NDF的含量变化幅度很大，说明样品来源范围广，覆盖面大，极具代表性。 Table 1 Results of calibrationmodel without spectral outliers No. r SEC R2 Score 0 0. 966 2.584 0.9287 93.95 Table 2 NDF contents of the samples used Characters Samples Range/% Mean/% SD/% NDF 141 38.35~73.86 55.71 5. 96 3.27不同马氏距离阈值方法的比较 3.2.1马氏距离阈值设为固定值 首先我们将马氏距离阈值设定为3(固定值)，然后进行异常光谱的剔出，利用剔除异常光谱后的光谱建立模型，其预测27个未知样品情况如表3所示。由表3可看出，随着样品的不断剔出，模型预测效果不但没有提高，反而降低了。第5次剔出6个异常光谱后，相关系数为0.961，小于最初没有剔出异常光谱模型的预测相关系数，而且标准差及各项指标均呈下降趋势。图1(a)为第5次剔出样品后的马氏距离分布图。可以看出，经过5次剔出，仍存在异常光谱，所以我们认为，当马氏距离阈值设为固定值3时，易除不收敛，可靠性不高。 Table 3Evaluation of the calibration model under3×Mahalanobis’distance Times No. SEC 2 Score 20 0.969 2.493 0.933 7 94.28 2 12 0.963 2.663 0.9244 93.65 3 5 0. 963 2.639 0.925 7 93.74 4 6 0.962 2.691 0.922 8 93.54 5 6 0.961 2.705 0.9220 93.49 3.2、2 马氏距离阈值设为2倍马氏距离平均值 一般情况下，马氏距离的阈值是标准集的各样本马氏距离的2倍平均值。我们第二次试验将马氏距离阈值设为2倍的马氏距离平均值。图1(b)为141个玉米青贮样品的马氏距离分布图，样品集马氏距离平均值为2.324，阈值为4.648。从图中可以看出，有两个样品为异常光谱。表4为将2个异常光谱剔出后模型的预测效果。可以看出，剔出后模型的相关系数、标准差、决定系数及综合得分均低于剔出前。这说明，采用这种方法剔出的异常光谱不可靠，因而并未达到优化模型的效果。 Table 4Evaluation of the calibration modelunder 2×Mahalanobis’distance No. SEC SEC 2 2 0.964 2.687 0.923 0 93.56 Fig. 1Plots of various Mahalanobis’s distance distributions inNIRS model of corn silage samples (a)： 3Xaveraged Mahalanobis’s distance； (b) 2×averaged Mahalanobis’s distance ◆： Coribration sample； ： Eraluation sample； 一： Mana distance 3.2.3 马氏距离阈值设为马氏距离平均值十2倍马氏距离标准差 将马氏距离阈值设为样品集马氏距离平均值+2倍马氏距离标准差，进行异常光谱的剔出。图3为易出前样品马氏距离分布图，平均值为2.324，标准差为0.742。从图2(a)中看出，有8个样品光谱异常。图2(b)为异常光谱剔净后的样品马氏距离分布图，可以看出，所有光谱的马氏距离均小于所设定的马氏距离阈值，所预测结果的误差均小于建模时所允许的误差限。表5为剔出光谱后模型对未知样品的预测效果。可以看出，随着异常光谱的出，模型的预测效果得到了提高。经过三次剔出后，模型预测效果达到最佳。因此，将马氏距离阈值设为马氏距离平均值+2倍马氏距离标准差 Table 5Evaluation of the calibration model whenthe Mahalanobis’distance is AV+2 SDs Times No. R SEC R2 Score 1 8 0. 964 2.707 0.921 8 93.48 2 5 0. 97 2.469 0.9349 94.36 3 4 0.97 2.456 0.9357 94.41 对异常光谱进行剔出，其可靠性较高，能有效优化模型预测效果。 Fig. 2Plots of various Mahalanobis's distance distributions inNIRS model of corn silage samples (a)： before deleting abnormal spectrum； (b)： after deleting abnormal spectrum ◆： Coribration sample； ▼： Eraluation sample； 一： Mana distance 3.3方法的验证 从68个大豆样品中挑选出20个作为模型性质的检验，剩余48个样品用于模型的建立。建模过程中通过设定不同的马氏距离阈值对异常光谱进行剔出，以检验上述方法的可行性。表6为不同马氏距离阈值对异常光谱剔出后的模型检 Table 6Evaluation of the calibration modelunder different Mahalanobis’s distances Different ways R SEC R2 Score No outliers 0.776 1.831 0.5951 75.78 8 outliers under Maha=3 first time 0.7421.964 0.534 8 71.72 6 outliers under Maha=3 second time 0.749 1.953 0.5396 72.05 6 outliers under Maha=3 third time 0.72 2.061 0.4873 68. 40 No outliers under Maha=2×AV No outliers under Maha=AV+3XSD 1 outlier under Maha=AV+2XSD 0.778 1.823 0.5990 76.01 验效果。图3为不同马氏距离阈值剔出异常光谱后的马氏距离图。通过验证结果可以看出，把马氏距离阈值设为马氏距离平均值+2倍马氏距离标准差对异常光谱进行剔出后，模 型预测效果最佳。因此，再一次验证了马氏距离阈值设为马氏距离平均值+2倍马氏距离标准差对异常光谱进行剔出的可靠性。 Fig.3 NIRS model of soybean samples under various Maialanobis's distances ◆： Coribration sample；： Eraluation sample； 一： Mana distance 4 结 论 在近红外光谱分析青贮玉米 NDF 中，马氏距离可用于光谱异常的判断，而将马氏距离阈值设定为固定值或平均值的2倍都具有一定的局限性，首先从统计学的角度来说，这 两种方法不能根据样品集的总体特点反映样品集的离散程度，从而不能准确有效的剔除真正属于异常的光谱。本试验结果表明，采用马氏距离阈值定为马氏距离平均值计2倍马氏距离标准差的可行性较高，它可以根据样品集的总体特点反映其离散程度，在统计学上意义明确，而且这种情况下剔出异常光谱后，模型预测效果达到最佳。 ( 参 考 文 献 ) ( [1]I L U Wan-zhen， YUAN Hong-fu， X U Guang-tong(陆婉珍，袁洪福，徐广通).The Moder n Analysis Techniq u e for Near-infrared Spectra(现代近红外光谱分析技术). Beijing： China Petrochemical Industry Press(北京：中国石化出版社)，2000. 1 93. ) ( [2] YAN Yan-lu， ZHAO Long-lian， HAN Dong-hai， et al(严衍禄， 赵 龙莲，韩东海，等). The Bas i s and Application of The Analysis Tech- nique for Near-Infrared Spectra(近红外光谱分析基础与应用). Bei j ing： Chinese Light Industry Press(北京：中国轻工业出版社)， 2005. ) ( [3] MIN Shun-geng， LI Ning， ZHANG Ming-xiang(闵顺耕， 李 宁，张 明 祥). Spectroscopy and Spectral Analysis(光谱学与光谱分析)， 2004，24(10)：1205. ) ( [4] XU Guang-tong， YUAN Hong-fu， LU Wan-zhen(徐广通，袁洪福，陆婉 珍 ). Spectroscopy and Spectral Analysis(光谱学与光谱分析)， 2001，21(4)：459. ) [5]YANG Sheng(杨 胜). Analysis of Feed and Assay Methodology of Feed Quality(饲料分析及饲料质量检测技术). Beijing： Beijing Agri-cultural University Press(北京：北京农业大学出版社)，1993. 58. An Outlier Diagnosis on Near Infrared Spectroscopyy Analysis of NDFContent in Corn Silage Feeds LIU Qiang， LUO Chang-bing’，CHEN Shao-jiang， MENG Qing-xiang* 1. College of Animal Science and Technology， China Agricultural University， Beijing 100094， China 2. Research Center for Shinong Lufang， Beijing 100094， China 3. College of Agriculture and Biological Technology， China Agricultural University， Beijing100094， China Abstract An experiment was conducted to study the outlier diagnosis on the near infrared spectroscopy (NIRS) analysis of NDFcontent in corn silage feeds. Various Mahalanobis’distances including 3 and 2XMahalanobis’distances and the average of Ma-halanobis’distance +2 SD (AV+2 SD) were set to diagnose the spectral outliers during the model development， and theireffects on the calibration models were compared respectively. The results showed that it was feasible to diagnose the spectraloutliers for NIRS analysis of NDF content in corn silage feeds when the Mahalanobis’distance was AV+2 SD， the r is 0. 97 andthe SEC is 2. 456. The calibration model optimized under such conditions was the best. KeywordsNear infrared spectroscopy； Corn silage； NDF；Spectral outlier； Mhalanobis’ distance (Received May 25， 2006； accepted Oct. 9，2006)