过程多波段光度计

最近遇到一个问题 用UV-Vis分光光度计进行全波段扫描时，在325nm-385nm这件总是波动很大，其他波段处是正常的，原以为是样品造成的，所以重新配置了个其他的溶液，结果还是在325nm-385nm这很波动。所以肯定是仪器哪出问题了，有遇到过这种情况的同行么？求解答。http://ng1.17img.cn/bbsfiles/images/2012/04/201204101841_360483_1614145_3.jpg

[size=24px]电子级水/超纯水 远紫外波段吸光度检测[/size]请教各位大神，对于类似超纯水、半导体行业用水这种水质指标极高的水，远紫外波段（＜200nm）吸光度应该如何检测？有几个疑问，请论坛大神解答；1.远紫外波段真空紫外光易被空气吸收，且光程短，如何适配比色皿，排除空气干扰？2.类似安捷伦、lambda这些仪器为什么标称170nm-3300nm都可以检测，但是实际应用中最低只能检测到190nm处？3.为获得特定波长处（如185nm，超纯水TOC降解波段）吸光度，该如何实现？[img=,690,528]https://ng1.17img.cn/bbsfiles/images/2023/03/202303291111198785_2326_5961157_3.jpg!w690x528.jpg[/img]

各种反应的实时监测是探索反应过程和积累加工经验的重要手段，近年来越来越为各行业所重视。其中，对物料浓度的在线测试（实时监测）是最重要的也是最麻烦的项目。各种浓度检测方法中，分光光度法是最简单的，但是由于其易受干扰和浓度范围限制等原因，真正用于实验或生产的极少。近年来随着仪器的开发，全波段同步检测手段、多波段吸光度综合分析方法、多种光度测试探头等，对分光光度分析在实时监测方面的发展提供了有力的支持。因此，我想应该进一步进行这方面应用试验研究了。去年底设想了一个简单的分光光度计单波长在线监测装置，各部件的连接如下面框图。装置搭好后，请人在实验中试用了一下，电脑记录了一些染色过程的染料浓度变化情况（每个约3小时），效果倒还可以。以往要做2-3天的工作，大半天就完成了，而且每个过程采集1千多个数据是原来常规方法不可能做到的。我想请各位高手根据原理和方案提点意见，如果要作各种其它监测，应该做些什么调整或改进？请有这方面经验的先行专家不吝赐教。[img]http://ng1.17img.cn/bbsfiles/images/2009/02/200902132144_133087_1633752_3.jpg[/img]

[align=center][b]基于“吸光度-浓度变化率”波段选择方法提高[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]建模能力[/b][/align][url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]定量分析是一种二级分析方法，利用校正模型对未知含量或性质参考值的样品基于[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]数据进行预测，以测定未知待测样品的浓度或性质参考值，根据预测结果评价模型的预测能力和有效性。由于[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]吸收峰严重重叠，信号吸收较弱，背景干扰严重。因此需要运用波段选择方法提取有效波段，常用的波段选择方法包括前向间隔偏最小二乘法（forwardintervalpartialleastsquares, FiPLS）、反向间隔偏最小二乘法（backwardintervalpartialleastsquares, BiPLS），相关系数法（correlationcoefficient, CC）和无信息变量消除算法（uninformativevariableelimination, UVE）等。本实验对近红外建模物质的浓度与吸光度的变化率进行研究，提出了新的波段选择方法：“吸光度-浓度变化率”方法（Ratioof absorbance to concentration，RATC），弥补了常用波段选择的缺陷，构建了血浆蛋白含量检测模型。1材料1.1试剂血浆样品（山东泰邦生物制品有限公司，中国）；去离子水。1.2仪器和软件AntarisⅡ傅里叶变换[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱仪[/color][/url]，液体采样附件；液体玻璃小管（4×50mm，KimbleChase 德国）；Matlab2015a（美国Mathworks公司）；PLS_Toolbox工具箱（美国EigenvectorResearch）。2方法2.1光谱采集采用傅里叶变换[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱仪[/color][/url]（Antaris II FT-NIR）液体温控透射采样模块，控制温度为37℃下，采集原料人血浆样品光谱。光谱扫描范围和分辨率为10000-4000cm[sup]-1[/sup]和8cm[sup]-1[/sup]，扫描次数为32次，参比为空气，每隔1小时校正背景。实验室环境为温度26℃，湿度30%。2.2 校正集验证集划分方法需要划分校正集和验证集的样品：原料人血浆样品20份，[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]建模属性为总蛋白含量值；2.3 数据处理及模型建立研究采用MATLAB2015a数学软件以及PLS_Toolbox 1.95工具箱对光谱数据进行处理，对建模物质的吸光度和浓度进行变化率分析，选出用于建模的波数点，针对[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]分析技术的建模分析，以验证均方根误差（RMSEP）值作为其建模预测能力的主要指标。通过讨论不同物质的[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]分析模型建模结果，验证所提波段选择方法的可行性和应用性。3 “吸光度-浓度变化率”波段选择原理及方法本文提出了一种[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]模型的波段选择方法，基于“吸光度浓度变化率”对校正样品集中所有样品进行波段选择，其具体过程为：步骤1：预先设定校正样品集中共有n个样品，每个样品光谱中共有N个变量，对于校正样品集所有样品来说，每个变量则有n个吸光值和n个浓度值；其中，N和n均为大于1的正整数；步骤2：依次计算每个变量下相邻样品的吸光值差值和浓度差值的比值V，最终在每个变量下得到（n-1）个比值V，再计算所有比值V的平均值V[sub]mean[/sub]；V[sub]i[/sub]=|(A[sub]i[/sub]-A[sub]i[/sub][sub]+[/sub][sub]1[/sub])|/(C[sub]i[/sub]-C[sub]i[/sub][sub]+[/sub][sub]1[/sub]) （1）V[sub]mean[/sub]=[img=,50,50]https://bbs.instrument.com.cn/xheditor/xheditor_skin/blank.gif[/img] （2）A[sub]i[/sub]表示第i个样品的吸光值，A[sub]i[/sub][sub]+[/sub][sub]1[/sub]表示第i+1样品的吸光值；C[sub]i[/sub]表示第i个样品的浓度值，C[sub]i[/sub][sub]+[/sub][sub]1[/sub]表示第i+1个样品的浓度值；V[sub]1[/sub]表示第1个样品与其相邻的第2个样品的吸光值差值和浓度差值的比值；V[sub]2[/sub]表示第2个样品与其相邻的第3个样品的吸光值差值和浓度差值的比值；V[sub]3[/sub]表示第3个样品与其相邻的第4个样品的吸光值差值和浓度差值的比值；V[sub]4[/sub]表示第4个样品与其相邻的第5个样品的吸光值差值和浓度差值的比值；V[sub]n[/sub][sub]-[/sub][sub]1[/sub]表示第n-1个样品与其相邻的第n个样品的吸光值差值和浓度差值的比值。步骤3：对于校正样品集中样品光谱的N个变量来说，得到N个V[sub]mean[/sub]值，将N个变量按照其V[sub]mean[/sub]值进行排序；步骤4：按照V[sub]mean[/sub]值由大变小的顺序依次选择出相应变量，直至所有变量全部选完，停止建模，记录所有情况的建模结果。其中，V[sub]mean[/sub]值越大，则代表吸光值因浓度变化所产生的响应越大，同时V[sub]mean[/sub]即为所提出的波段选择方法的关键值，命名为“吸光度-浓度变化率”值。从V[sub]mean[/sub]值最大的变量开始建模，随后按照V[sub]mean[/sub]值由大变小的顺序，采取依次增加一个变量的方法，开始建立[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]模型，简化流程图如图4-1所示。[align=center][img=,580,560]https://ng1.17img.cn/bbsfiles/images/2019/08/201908161623164821_3386_3237657_3.png!w580x560.jpg[/img][/align][align=center]图4-1“吸光度-浓度变化率”波段选择方法简化流程图[/align]具体应用例证如图4-2所示：校正样品集有20个样品，其浓度值分别为C[sub]1[/sub]，C[sub]2[/sub]，…，C[sub]20[/sub]。[align=center][img=,670,461]https://ng1.17img.cn/bbsfiles/images/2019/08/201908161623371131_5892_3237657_3.png!w670x461.jpg[/img][/align][align=center]图4-2“吸光度-浓度变化率”波段选择方法具体例证过程[/align]本文将所提出的波段选择方法用于血浆蛋白含量检测模型的构建中，讨论血浆蛋白含量变化同样品吸光度之间的变化率，进而选择合适的波段用于建模。[b]4 实验结果4.1 近红外建模样品集划分[/b]对三种样品进行校正集和验证集的划分结果如表4-1所示，其结果全部满足验证集的参数值范围在校正集之内，同时对于不同样品的不同属性的校正集和验证集来说，其平均值和标准偏差值也比较接近，满足[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]建模校正集和验证集的划分要求。[align=center]表4-1不同样品不同属性的校正集验证集数据统计结果[/align] [table][tr][td] [align=center]样品[/align] [align=center](检测参数) [/align] [/td][td] [align=center]样品集[/align] [/td][td] [align=center]样本数[/align] [/td][td] [align=center]最大值[/align] [/td][td] [align=center]最小值[/align] [/td][td] [align=center]平均值[/align] [/td][td] [align=center]标准偏差[/align] [/td][/tr][tr][td=1,2] [align=center]原料人血浆[/align] [align=center](蛋白含量值)[/align] [/td][td] [align=center]校正集[/align] [/td][td] [align=center]15[/align] [/td][td] [align=center]76.80[/align] [/td][td] [align=center]40.56[/align] [/td][td] [align=center]59.34[/align] [/td][td] [align=center]12.31[/align] [/td][/tr][tr][td] [align=center]验证集[/align] [/td][td] [align=center]5[/align] [/td][td] [align=center]73.16[/align] [/td][td] [align=center]41.89[/align] [/td][td] [align=center]57.56[/align] [/td][td] [align=center]11.65[/align] [/td][/tr][tr][td=1,2] [align=center]玉米[/align] [align=center](水分值)[/align] [/td][td] [align=center]校正集[/align] [/td][td] [align=center]60[/align] [/td][td] [align=center]10.99[/align] [/td][td] [align=center]9.38[/align] [/td][td] [align=center]10.22[/align] [/td][td] [align=center]0.39[/align] [/td][/tr][tr][td] [align=center]验证集[/align] [/td][td] [align=center]20[/align] [/td][td] [align=center]10.94[/align] [/td][td] [align=center]9.64[/align] [/td][td] [align=center]10.27[/align] [/td][td] [align=center]0.36[/align] [/td][/tr][tr][td=1,2] [align=center]玉米[/align] [align=center](蛋白质含量值)[/align] [/td][td] [align=center]校正集[/align] [/td][td] [align=center]60[/align] [/td][td] [align=center]3.83[/align] [/td][td] [align=center]3.09[/align] [/td][td] [align=center]3.50[/align] [/td][td] [align=center]0.18[/align] [/td][/tr][tr][td] [align=center]验证集[/align] [/td][td] [align=center]20[/align] [/td][td] [align=center]3.82[/align] [/td][td] [align=center]3.18[/align] [/td][td] [align=center]3.48[/align] [/td][td] [align=center]0.18[/align] [/td][/tr][tr][td=1,2] [align=center]玉米[/align] [align=center](油脂值)[/align] [/td][td] [align=center]校正集[/align] [/td][td] [align=center]60[/align] [/td][td] [align=center]9.71[/align] [/td][td] [align=center]7.66[/align] [/td][td] [align=center]8.73[/align] [/td][td] [align=center]0.53[/align] [/td][/tr][tr][td] [align=center]验证集[/align] [/td][td] [align=center]20[/align] [/td][td] [align=center]9.60[/align] [/td][td] [align=center]8.11[/align] [/td][td] [align=center]8.49[/align] [/td][td] [align=center]0.32[/align] [/td][/tr][tr][td=1,2] [align=center]玉米[/align] [align=center](淀粉值)[/align] [/td][td] [align=center]校正集[/align] [/td][td] [align=center]60[/align] [/td][td] [align=center]66.47[/align] [/td][td] [align=center]62.83[/align] [/td][td] [align=center]64.62[/align] [/td][td] [align=center]0.90[/align] [/td][/tr][tr][td] [align=center]验证集[/align] [/td][td] [align=center]20[/align] [/td][td] [align=center]65.60[/align] [/td][td] [align=center]63.63[/align] [/td][td] [align=center]64.91[/align] [/td][td] [align=center]0.48[/align] [/td][/tr][tr][td=1,2] [align=center]汽油[/align] [align=center]（辛烷值）[/align] [/td][td] [align=center]校正集[/align] [/td][td] [align=center]45[/align] [/td][td] [align=center]89.60[/align] [/td][td] [align=center]83.40[/align] [/td][td] [align=center]87.15[/align] [/td][td] [align=center]1.57[/align] [/td][/tr][tr][td] [align=center]验证集[/align] [/td][td] [align=center]15[/align] [/td][td] [align=center]88.70[/align] [/td][td] [align=center]84.50[/align] [/td][td] [align=center]87.25[/align] [/td][td] [align=center]1.46[/align] [/td][/tr][/table][b]4.2 血浆样品[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]建模结果4.2.1“吸光度-浓度变化率”方法在血浆蛋白含量建模中的应用[/b]利用“吸光度-浓度变化率”方法对血浆样品进行数据分析，得到每个波数点下的V[sub]mean[/sub]值如图4-3所示，按照其V[sub]mean[/sub]值由大到小排列波数点，依次递增波数点个数进行建模，即得到不同[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]模型结果。[align=center][img=,653,353]https://ng1.17img.cn/bbsfiles/images/2019/08/201908161624210201_7336_3237657_3.png!w653x353.jpg[/img][/align][align=center]图4-3血浆样品不同波数点的V[sub]mean[/sub]值[/align][url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]血浆蛋白含量建模结果如图4-4所示，最小的RMSEP值为0.495，模型的RPD值为23.535＞3，无模型过拟合现象，所涉及变量数为50个，具体波数点如表4-2所示。获得最佳模型的波数点大部分都分布在6200-6400cm[sup]-[/sup][sup]1[/sup]，分析此处的特征吸收峰信息，多为N-H的一级倍频信息。[align=center][img=,653,353]https://ng1.17img.cn/bbsfiles/images/2019/08/201908161625411205_2487_3237657_3.png!w653x353.jpg[/img][/align][align=center]图4-4 血浆蛋白样品[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]分析技术的建模结果[/align][align=center]表4-2血浆蛋白样品进行[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]分析技术的建模变量[/align] [table][tr][td] [align=center]波数(cm[sup]-[/sup][sup]1[/sup])[/align] [/td][td] [align=center]波数(cm[sup]-[/sup][sup]1[/sup])[/align] [/td][td] [align=center]波数(cm[sup]-[/sup][sup]1[/sup])[/align] [/td][td] [align=center]波数(cm[sup]-[/sup][sup]1[/sup])[/align] [/td][td] [align=center]波数(cm[sup]-[/sup][sup]1[/sup])[/align] [/td][/tr][tr][td] [align=center]6363.940[/align] [/td][td] [align=center]6360.083[/align] [/td][td] [align=center]6321.514[/align] [/td][td] [align=center]6294.515[/align] [/td][td] [align=center]6267.517[/align] [/td][/tr][tr][td] [align=center]6367.797[/align] [/td][td] [align=center]6387.082[/align] [/td][td] [align=center]6317.657[/align] [/td][td] [align=center]6414.080[/align] [/td][td] [align=center]6425.651[/align] [/td][/tr][tr][td] [align=center]6371.654[/align] [/td][td] [align=center]6390.938[/align] [/td][td] [align=center]6313.800[/align] [/td][td] [align=center]6417.937[/align] [/td][td] [align=center]6263.660[/align] [/td][/tr][tr][td] [align=center]6356.226[/align] [/td][td] [align=center]6340.798[/align] [/td][td] [align=center]6402.509[/align] [/td][td] [align=center]6290.658[/align] [/td][td] [align=center]6259.803[/align] [/td][/tr][tr][td] [align=center]6375.511[/align] [/td][td] [align=center]6336.941[/align] [/td][td] [align=center]6309.943[/align] [/td][td] [align=center]6286.801[/align] [/td][td] [align=center]7208.608[/align] [/td][/tr][tr][td] [align=center]6352.369[/align] [/td][td] [align=center]6329.228[/align] [/td][td] [align=center]6406.366[/align] [/td][td] [align=center]6282.944[/align] [/td][td] [align=center]6255.946[/align] [/td][/tr][tr][td] [align=center]6348.512[/align] [/td][td] [align=center]6333.084[/align] [/td][td] [align=center]6306.086[/align] [/td][td] [align=center]6421.794[/align] [/td][td] [align=center]6429.508[/align] [/td][/tr][tr][td] [align=center]6379.368[/align] [/td][td] [align=center]6398.652[/align] [/td][td] [align=center]6302.229[/align] [/td][td] [align=center]6279.087[/align] [/td][td] [align=center]6252.089[/align] [/td][/tr][tr][td] [align=center]6383.225[/align] [/td][td] [align=center]6394.795[/align] [/td][td] [align=center]6410.223[/align] [/td][td] [align=center]6275.230[/align] [/td][td] [align=center]7204.751[/align] [/td][/tr][tr][td] [align=center]6344.655[/align] [/td][td] [align=center]6325.371[/align] [/td][td] [align=center]6298.372[/align] [/td][td] [align=center]6271.374[/align] [/td][td] [align=center]6433.365[/align] [/td][/tr][/table][b]4.2.2 同常规波段选择方法的[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]建模比较[/b]为考察“吸光度-浓度变化率”方法的预测能力高低，将其同其他常规变量选择方法 (FiPLS, BiPLS, CC, UVE) 对相同光谱数据进行处理，建立的近红外模型结果对比如图4-5所示。从图4-5中可明显看出，同其他变量选择方法相比，RATC得到了最小的RMSEP值（RMSEP=0.495g/L）。综上所述，对于原料人血浆样品的总蛋白定量来说，RATC方法减少了参与[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]建模的变量数，提高了血浆蛋白含量建模的预测能力，是一种有效的变量选择方法。[align=center][img=,622,370]https://ng1.17img.cn/bbsfiles/images/2019/08/201908161626000014_401_3237657_3.png!w622x370.jpg[/img][/align][align=center]图4-5 不同血浆蛋白含量的[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]建模结果比较[/align][align=center][b] [/b][/align][b]5小结[/b]本文基于吸光度浓度变化率来对校正样品集中所有样品进行波段选择；其过程为：预先设定校正样品集中共有n个样品，每个样品光谱中共有N个变量，对于校正样品集所有样品来说，每个变量则有n个吸光值和n个浓度值；其中，N和n均为大于1的正整数；依次计算每个变量下相邻样品的吸光值差值和浓度差值的比值V，最终在每个变量下得到（n-1）个比值V，再计算所有比值V的平均值V[sub]mean[/sub]；对于校正样品集中样品光谱的N个变量，得到N个V[sub]mean[/sub]值，将N个变量按照其V[sub]mean[/sub]值进行排序；按照V[sub]mean[/sub]值由大变小的顺序依次选择出相应变量，直至所有变量全部选完，停止建模，记录所有情况的建模结果。同常规波段选择方法比较，该方法从三个方面进行了改进，不仅减少了参与[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]建模变量的数目，提高了[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]模型的预测能力。丰富了[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]模型的波段选择方法，给[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]模型使用者提供“吸光度-浓度变化”波段选择方法。同时由于是根据物质的[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]吸光度和浓度的关系建立的波段选择方法，某种程度上，该方法更能够反应物质的化学信息，即吸光度随着浓度变化率，使得该波段选择方法具有广泛的可行性和通用性。

[font='times new roman'][size=16px][b]几种[/b][/size][/font][font='times new roman'][size=16px][b]波段选择[/b][/size][/font][font='times new roman'][size=16px][b]方法原理及应用[/b][/size][/font][size=14px][url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]数据的波段数有[/size][size=14px]多[/size][size=14px]个，特征维度较多，数据量较大，不同波段之间的信息冗余度高，具有一定的重叠性。本实验所用的试验样品是由多个成分组成的混合物，这样采集的[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]就会由于没有混合均匀等原因常常掺杂着一些对非目标组分的吸收，导致光谱数据中的某些波段与样品的性质之间是比较差的关联关系，甚至是有一些关联关系是错误的，这就容易出现部分波段信息冗余的现象。同时，也会有其他一些因素对[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]的准确性产生不利影响。[/size][size=14px]因此，为了得到更加有利于建立模型的[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]数据，需要对一些无用的噪声波段进行剔除，找出那些含有较高信息量、容易分离、彼此相关度较低的波段，这就需要对[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]进行波段选择。通过波段选择从原始[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]中选择包含大量有效信息的波段子集，这些波段在建模中起主要作用，这样不但可以大大降低[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]的维度，提高模型建立的速度，而且可以将光谱中存在的噪声信息剔除掉，只保留对提升模型准确性有利的信息。本文使用的波段选择方法使皮尔森相关系数法和随机森林法。[/size][font='times new roman'][size=16px][b]皮尔森相关系数法[/b][/size][/font][size=14px]相关系数法[/size][font='times new roman'][size=14px][54][/size][/font][size=14px]是将采集光谱的所有波段与颗粒的实际水分含量进行相关性计算，得到光谱每个波段与水分含量的相关系数。确定一定的阈值，将波段按照相关系数绝对值的大小进行排序，相关系数的绝对值超过阈值大小的波段保留下来，用这部分波段进行建模。[/size][size=14px]两个变量之间相关系数的大小在[/size][size=14px]-1~1[/size][size=14px]之间变化，当其中一个变量增大而另一个变量减小时，说明两个变量是负相关的，其相关系数为负数，并且相关系数越小，说明两个变量的负相关性越大；当其中一个变量增大，另一个变量也随之增大时，说明两个变量是正相关的，相关系数为正数，并且相关系数越大，说明两个变量间的正相关性越大。为了了解两个变量间的相关程度，以相关系数的绝对值[/size][size=14px]|R|[/size][size=14px]为标准判断两个变量的线性相关性大小，如下表所示。[/size][align=center][font='times new roman'][size=16px]表两个变量的相关性大小[/size][/font][/align][table][tr][td][align=center][font='times new roman'][size=16px]相关系数绝对值[/size][/font][font='times new roman'][size=16px]|R|[/size][/font][/align][/td][td][align=center][font='times new roman'][size=16px]相关性程度[/size][/font][/align][/td][/tr][tr][td][align=center][font='times new roman'][size=16px]≥[/size][/font][font='times new roman'][size=16px]0.95[/size][/font][/align][/td][td][align=center][size=13px]显著性相关[/size][/align][/td][/tr][tr][td][align=center][font='times new roman'][size=16px]≥[/size][/font][font='times new roman'][size=16px]0.8[/size][/font][/align][/td][td][align=center][size=13px]高度相关[/size][/align][/td][/tr][tr][td][align=center][size=13px]0.5[/size][font='宋体'][size=13px]≤|[/size][/font][font='宋体'][size=13px]R[/size][/font][size=13px]|0.35[/size][/font][font='times new roman'][size=16px]光谱波段[/size][/font][/align][size=14px] [/size][size=14px] [/size][size=14px]图中，绿色方格线覆盖的波段为相关系数绝对值[/size][size=14px]|R|[/size][size=14px]0.35[/size][size=14px]的波段。图中可以看出，与水分相关系数比较高的地方都在波段[/size][size=14px]908.1nm~1400nm[/size][size=14px]之间，将全光谱的[/size][size=14px]125[/size][size=14px]个波段降低到了[/size][size=14px]80[/size][size=14px]个。[/size][font='times new roman'][size=16px][b] [/b][/size][/font][font='times new roman'][size=16px][b]随机森林法[/b][/size][/font][size=14px]随机森林[/size][font='times new roman'][size=14px][55][/size][/font][size=14px]是一种并行的[/size][size=14px]bagging[/size][font='times new roman'][size=14px][56][/size][/font][size=14px]集成学习算法。随机森林使用的数据采集方法为“自助采样法”，自主采样法在数据集较小的情况下会有较好的训练结果。从一个包含[/size][size=14px][i]n[/i][/size][size=14px]个[/size][size=14px]样本的数据集[/size][size=14px][i]M[/i][/size][size=14px]中每次随机取出一个样本，对样本进行记录后把该样本重新放回[/size][size=14px][i]M[/i][/size][size=14px]中再进行随机取样，即有放回的随机取样，这样取出来的所有样本组成数据集[/size][size=14px][i]D[/i][/size][size=14px]。重复采样[/size][size=14px][i]n[/i][/size][size=14px]次，[/size][size=14px][i]M[/i][/size][size=14px]中有一部分数据在[/size][size=14px][i]D[/i][/size][size=14px]中重复出现多次，有一部分数据从来没有在[/size][size=14px][i]D[/i][/size][size=14px]中出现过，一个样本被取到的概率为[/size][size=14px]1/[/size][size=14px][i]n[/i][/size][size=14px]，那么在[/size][size=14px][i]n[/i][/size][size=14px]次采样过程中样本一直不被取到的概率为（[/size][size=14px]1-1/[/size][size=14px][i]n[/i][/size][size=14px]）[/size][font='times new roman'][size=14px]1/[/size][/font][font='times new roman'][size=14px][i]n[/i][/size][/font][size=14px]，通过求极限可以得到[/size][align=right][size=14px] [/size][size=14px] [/size][/align][size=14px]以采集的样本[/size][size=14px][i]D[/i][/size][size=14px]作为训练集，以未采集的样本数据集[/size][size=14px][i]P[/i][/size][size=14px]作为测试集。对数据集[/size][size=14px][i]D[/i][/size][size=14px]进行训练，并在训练过程中加入随机属性选择，这样就得到了一个决策树算法的[/size][size=14px]基学习器[/size][size=14px]，然后把所有的[/size][size=14px]基学习器[/size][size=14px]组合起来，得到输出结果。在分类任务中，对每个[/size][size=14px]基学习器[/size][size=14px]对预测结果进行投票得到输出结果；在回归任务中，将每个[/size][size=14px]基学习器[/size][size=14px]的预测结果进行简单平均，求得的平均数作为最终的结果。[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]水分预测是一个回归任务，因此选择随机森林回归法，[/size][size=14px]基学习器[/size][size=14px]的决策树为回归树，训练样本过将多个[/size][size=14px]基学习器回归[/size][size=14px]树进行训练，使用简单平均法获得预测结果，获得比单一回归树模型具有更高的预测准确率[/size][font='times new roman'][size=14px][57][/size][/font][size=14px]。随机森林回归的示意图如下图所示。[/size][align=center][font='times new roman'][size=16px]图[/size][/font][font='times new roman'][size=16px] [/size][/font][font='times new roman'][size=16px]随机森林回归示意图[/size][/font][/align][size=14px]随机森林回归算法中使用的基模型为[/size][size=14px]CART[/size][size=14px]回归树[/size][font='times new roman'][size=14px][58][/size][/font][size=14px]，特征空间的划分和每个单元的输出值由这些回归树来决定。在回归树中，选择最佳的划分点需要对每个特征的所有值进行遍历，直到取得某个特征的某个值，使得损失函数最小，这就是最佳的划分点。假设有[/size][size=14px][i]n[/i][/size][size=14px]个[/size][size=14px]特征，每个特征有[/size][size=14px]个[/size][size=14px]取值，将特征空间划分为[/size][size=14px][i]M[/i][/size][size=14px]个[/size][size=14px]单元[/size][size=14px]，[/size][size=14px]为[/size][size=14px]上输入[/size][size=14px]对应[/size][size=14px]的平均值，[/size][size=14px]则该过程的公式如下：[/size][align=right][size=14px] [/size][size=14px] [/size][/align][size=14px]选择最佳的划分点后，回归树的方程为：[/size][align=right][size=14px] [/size][size=14px] [/size][/align][size=14px]式中，[/size][size=14px][i]I([/i][/size][size=14px][i]x)[/i][/size][size=14px]为指示函数。[/size][size=14px]通过随机森林计算特征集中某一特征重要程度的过程如下：[/size][size=14px]（[/size][size=14px]1[/size][size=14px]）从数据集[/size][size=14px][i]M[/i][/size][size=14px]中通过随机自采样的方法获得数据集[/size][size=14px][i]D[/i][/size][size=14px]，用数据集[/size][size=14px][i]D[/i][/size][size=14px]作为训练集进行建模，用没采集到的数据集[/size][size=14px][i]P[/i][/size][size=14px]进行验证，得到数据集[/size][size=14px][i]P[/i][/size][size=14px]的误差，记作[/size][size=14px][i]error[/i][/size][font='times new roman'][size=14px][i]1[/i][/size][/font][size=14px]。[/size][size=14px]（[/size][size=14px]2[/size][size=14px]）生成一组随机噪声数据，将随机噪声干扰数据加入到数据集[/size][size=14px][i]P[/i][/size][size=14px]的某一特征中，使得该特征对预测结果产生干扰，然后再次对数据集[/size][size=14px][i]P[/i][/size][size=14px]的误差进行计算，记作[/size][size=14px][i]error[/i][/size][font='times new roman'][size=14px][i]2[/i][/size][/font][size=14px]。[/size][size=14px]（[/size][size=14px]3[/size][size=14px]）计算[/size][size=14px][i]error[/i][/size][font='times new roman'][size=14px][i]2[/i][/size][/font][size=14px]与[/size][size=14px][i]error[/i][/size][font='times new roman'][size=14px][i]1[/i][/size][/font][size=14px]的差值。如果该特征是对预测结果起正向作用，则加入噪声数据后[/size][size=14px][i]error[/i][/size][font='times new roman'][size=14px][i]2[/i][/size][/font][size=14px]与[/size][size=14px][i]error[/i][/size][font='times new roman'][size=14px][i]1[/i][/size][/font][size=14px]的差值一定大于[/size][size=14px]0[/size][size=14px]，反之则小于零。差值与这个特征对该模型预测精度的影响程度成正比。[/size][size=14px]（[/size][size=14px]4[/size][size=14px]）如果随机森林中有[/size][size=14px][i]N[/i][/size][size=14px]棵树，计算[/size][size=14px][i]N[/i][/size][size=14px]棵树对该特征[/size][size=14px][i]error2[/i][/size][size=14px]与[/size][size=14px][i]error1[/i][/size][size=14px]的差值的平均值，即[/size][align=right][size=14px] [/size][size=14px] [/size][/align][size=14px]（[/size][size=14px]5[/size][size=14px]）遍历数据集[/size][size=14px][i]P[/i][/size][size=14px]中的所有特征，求出每个特征的重要性。[/size][size=14px]用随机森林回归法对光谱数据与水分含量进行建模，得到数据[/size][size=14px]中特征[/size][size=14px]重要性排名，其中排名前十的特征如图[/size][size=14px]3-9[/size][size=14px]所示。[/size][align=center][img]https://ng1.17img.cn/bbsfiles/images/2020/09/202009031753099412_7932_3890113_3.png[/img][/align][align=center][font='times new roman'][size=16px]图[/size][/font][font='times new roman'][size=16px] [/size][/font][font='times new roman'][size=16px]随机森林特征选择排名前十的特征[/size][/font][/align][size=14px]特征重要性值的数据分布如下表所示。[/size][align=center][font='times new roman'][size=16px]表[/size][/font][font='times new roman'][size=16px] [/size][/font][font='times new roman'][size=16px]随机森林特征重要性分布[/size][/font][/align][table][tr][td][align=center][font='times new roman'][size=16px]数值分布[/size][/font][/align][/td][td][align=center][font='times new roman'][size=16px]特征重要性[/size][/font][/align][/td][/tr][tr][td][align=center][font='times new roman'][size=16px]最小值[/size][/font][/align][/td][td][align=center][font='times new roman'][size=16px]0.0022[/size][/font][/align][/td][/tr][tr][td][align=center][font='times new roman'][size=16px]1/4[/size][/font][font='times new roman'][size=16px]分位数[/size][/font][/align][/td][td][align=center][font='times new roman'][size=16px]0.0041[/size][/font][/align][/td][/tr][tr][td][align=center][font='times new roman'][size=16px]中位数[/size][/font][/align][/td][td][align=center][font='times new roman'][size=16px]0.0060[/size][/font][/align][/td][/tr][tr][td][align=center][font='times new roman'][size=16px]3/4[/size][/font][font='times new roman'][size=16px]分位数[/size][/font][/align][/td][td][align=center][font='times new roman'][size=16px]0.0081[/size][/font][/align][/td][/tr][tr][td][align=center][font='times new roman'][size=16px]最大值[/size][/font][/align][/td][td][align=center][font='times new roman'][size=16px]0.0692[/size][/font][/align][/td][/tr][tr][td][align=center][font='times new roman'][size=16px]平均值[/size][/font][/align][/td][td][align=center][font='times new roman'][size=16px]0.0080[/size][/font][/align][/td][/tr][/table][size=14px]分别以随机森林特征重要性数值分布的[/size][size=14px]1/4[/size][size=14px]分位数、中位数、[/size][size=14px]3/4[/size][size=14px]分位数和平均值为选择标准，以大于这个标准的特征重要性组合成的特征波段进行[/size][size=14px]PLS[/size][size=14px]建模，选择最佳的波段组合。建模的结果如下表所示。[/size][align=center][font='times new roman'][size=16px]表[/size][/font][font='times new roman'][size=16px] [/size][/font][font='times new roman'][size=16px]不同特征重要性的波段模型评价[/size][/font][/align][table][tr][td][align=center][size=13px] [/size][size=13px] [/size][size=13px]评价参数[/size][/align][size=13px]特征重要性[/size][/td][td][align=center][size=13px]R[/size][size=13px]MSECV[/size][/align][/td][td][align=center][size=13px]R[/size][size=13px]MSEP[/size][/align][/td][td][align=center][size=14px]R[/size][font='times new roman'][size=14px]p[/size][/font][/align][/td][/tr][tr][td][align=center][size=13px]全波段[/size][/align][/td][td][align=center][size=13px]0.242[/size][/align][/td][td][align=center][size=13px]0.221[/size][/align][/td][td][align=center][size=13px]0[/size][size=13px].9[/size][size=13px]60[/size][/align][/td][/tr][tr][td][align=center][size=13px]0.0041[/size][/align][/td][td][align=center][size=13px]0.222[/size][/align][/td][td][align=center][size=13px]0.214[/size][/align][/td][td][align=center][size=13px]0[/size][size=13px].9[/size][size=13px]80[/size][/align][/td][/tr][tr][td][align=center][size=13px]0.0060[/size][/align][/td][td][align=center][size=13px]0.216[/size][/align][/td][td][align=center][size=13px]0.209[/size][/align][/td][td][align=center][size=13px]0[/size][size=13px].[/size][size=13px]983[/size][/align][/td][/tr][tr][td][align=center][size=13px]0.0080[/size][/align][/td][td][align=center][size=13px]0.228[/size][/align][/td][td][align=center][size=13px]0.225[/size][/align][/td][td][align=center][size=13px]0[/size][size=13px].9[/size][size=13px]75[/size][/align][/td][/tr][tr][td][align=center][size=13px]0.0081[/size][/align][/td][td][align=center][size=13px]0.2[/size][size=13px]3[/size][size=13px]2[/size][/align][/td][td][align=center][size=13px]0.230[/size][/align][/td][td][align=center][size=13px]0[/size][size=13px].9[/size][size=13px]6[/size][/align][/td][/tr][/table][size=14px]很明显，通过随机森林方法计算出各个特征的重要性，以[/size][size=14px]0.0060[/size][size=14px]作为最低标准选择的波段用来建立[/size][size=14px]PLS[/size][size=14px]模型的效果最好。选择的波段如下图所示。[/size][align=center][font='times new roman'][size=16px]图[/size][/font][font='times new roman'][size=16px] [/size][/font][font='times new roman'][size=16px]随机森林波段选择[/size][/font][/align][size=14px] [/size][size=14px] [/size][size=14px]图中绿色背景的是通过随机森林选择的[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]波段，其波段主要分布在[/size][size=14px]908.1nm~1150nm[/size][size=14px]和[/size][size=14px]1350nm~1500nm[/size][size=14px]之间，将[/size][size=14px]125[/size][size=14px]个光谱波段降低到了[/size][size=14px]60[/size][size=14px]个，[/size][size=14px]降维效果[/size][size=14px]和模型评价效果均优于相关系数法。因此在流化床制粒过程[url=https://insevent.instrument.com.cn/t/1p][color=#3333ff]近红外光谱[/color][/url]的建模中应用随机森林法进行波段选择。[/size]