近红外光谱分析系统

陈斌教授领衔的近红外工作室(NIR Workshop，NIRW)一直致力于近光谱分析的基础与应用研究，在本领域占有一席之地。　　近年来，便携式近红外光谱仪的研制与应用成为热点，美国JDSU公司成功研发出世界上最小的近红外光谱仪(Micro NIR 1700)。NIRW集中力量，经过数月攻关，终于开发出【基于JDSU微型近红外光谱仪的分析与检测系统】软件。该系统软件包括两部分，一是辅助建模，能够建立、保存模型。二是光谱分析，能够实现光谱采集、模型加载、模型计算和结果的实时显示。　　【基于JDSU微型近红外光谱仪的分析与检测系统】--操作演示视频，辅助建模

近几年以来，在国内烟草行业，随着烟草企业的联合重组与整合，对烟叶原料品类多样化提出了更高的要求，为了统筹优化与合理应用原料提供技术支持，以Web Service架构的“互联网+近红外光谱分析”的基本模式，于2015年，云南中烟构建的以原料研究为导向的烟叶原料近红外分析网络系统上线使用，通过六年多来的运行，实现了原料近红外分析检测数据的交换和共享，对评估烤烟收购质量，合理组配复烤模块单元，提供了即时的数据支持；在产品开发和产品维护方面，针对性使用烟叶原料，研发新产品配方、优化配伍和维护产品质量稳定，发挥了积极的辅助作用，特别是从“人、机、料、环、法”等方面，依据相应的技术标准（包含近红外校正模型建立、验证、应用和维护等），规范了网点的近红外光谱实验室，多年来，积累了初烤烤烟、复烤片烟和库存片烟等烟叶原料近红外分析检测大量的数据资产。系统功能基本达到了设计预期。然而，为了进一步探索分析烟叶原料品质类别、配方模块（单元）相似性、质量变化趋势和规律，在综合利用近红外光谱数据、理化性质数据和一些与质量相关的半结构化非结构化数据时，由于集成的常规性质数据有限，满足不了质量表征的需求，加之，在网络平台上面对大量的数据处理分析，传统的化学计量学定性定量建模计算模式难于适应，制约了多变量数据（如光谱）的深入挖掘和数据挖掘的效率。为了推进近红外光谱分析网络化应用，本文基于烟草近红外光谱网络化应用的实践经验，抛砖引玉，与大家探讨近红外光谱分析网络化应用研究的一些思路。1、近红外光谱标准化烟草可视为一种多成分复杂化学体系的天然作物，迄今为止，从烟草中鉴定出来的化学成分达5500多种，烟草质量与这些化学成分的相关性至今尚未全部研究清楚，通常采用为数有限的常规化学成分指标（如烟碱、总氮、总糖、还原糖、蛋白质、钾、氯和灰分等），评估烟草整体质量特征时仍存在不足，普遍认为，烟草在燃吸时的整体质量特征是烟草中这些复杂成分相互协同作用的结果。在近红外光谱定量分析中，烟草近红外光谱包含大量潜在的物质组成信息尚未充分利用，不同质量特征的烟草具有自身的特征近红外光谱，应用适当的化学计量学模式识别方法，如PLS-DA、SIMCA和SVM，结合近红外光谱挖掘烟草的整体质量特征归属，对寻求质量特征相似或相近的替代原料，保障规模化产品制造稳定的原料供给有着重要的意义。每一个网点的近红外光谱实验室是数据“发源地”，数据质量决定了将来数据的应用价值。实验室除了从“人、机、料、环、法”等方面，依据相应的规范（包含近红外光谱测量、校正模型建立、验证、应用和维护的技术标准等）要求运行之外，显然，在网络环境里光谱数据采集的“标准化”就特别重要。这就要求入网的近红外光谱仪必须具有优良的光学特性，仪器之间的差异最小，保证对不同产区网点的近红外光谱仪测量的光谱数据进行分析时，仪器的背景差异不会造成明显的影响，但事实上，同一厂家同一型号同一个批次生产的光谱仪都很难做到这一点，可以说，近红外光谱仪之间的差异是进行网络数据共享，挖掘光谱数据信息存在的问题之一。一是借鉴模型转移的化学计量学方法，根据仪器之间的光谱差异，建立一个光谱的数学关系，然后依据这个数学关系，“软拷贝”实现光谱数据采集的标准化；二是仪器厂商提升仪器的制造水平，降低仪器之间的差异，特别是不同批次生产的仪器之间的差异，才能使其测量的光谱差异最小，不会对后续的光谱分析造成明显的影响，也就是说用一台仪器采集的光谱建立的模型预测同一组样品在本台仪器上测量的光谱，与使用本台仪器的模型预测另一台仪器测量同是一组样品的光谱所得到的结果无明显的差异，在这两台仪器之间就无需建立光谱的数学关系，即简单的“硬拷贝”就可实现网络平台光谱数据采 集的标准化，要义见图1示意。在网络环境中的光谱仪可视为一个“网络传感器”，对传感器的技术要求在朝着高质量、高精度、小型化、低功耗和智能化等方向演进，对网络用户来说，期待仪器制造商生产性能一致性优良的光谱仪，乃是尤为理想的解决方案。图1 不同的光谱仪采集同一组样品，可得到基本相同的光谱，即“一个世界，一个标准”2、云化近红外光谱分析网络平台云计算服务是一种集中式服务，所有数据都通过网络传输到云计算中心进行处理。资源的高度集中与整合使得云计算具有很高的通用性，然而，面对网络设备和数据的爆发式增长，边缘计算相比于云计算模型，能够更加迅速、可靠和节能地响应用户需求，数据在本地处理也可以提升用户隐私保护程度。另外，边缘计算也减小了对网络的依赖，在离线状态下也能够提供基础业务服务。通过云化近红外光谱分析网络平台，集成不同的烟草产地生态环境、等级、品种以及相应的近红外光谱、理化性质（包含烟叶的形态形状图像，化学成分指标等）数据是其任务之一，便于分析挖掘与感官质量相关的特征信息，服务于烟叶原料的精细化种植及科学合理应用，在近红外光谱定性、定量建模或后续的各种数据挖掘实际应用中，是基于“中心云”或“边缘云”的数据资源进行的。有时会用到中心云的数据资源，如对各大产区烟草质量进行整体性比照分析，探索各大烟区烟草质量特征，支持原料生产基地系统规划；有时会用到边缘云的数据资源，如对某个产区烟草历时性数据作趋势分析，探索烟草质量的稳定性与变化趋向，辅助基层植烟区改进或调整生产措施。所以，面向服务对象的规模、复杂程度合理部署、云化近红外光谱分析网络平台就尤为重要，有利于集约化网络资源，提升数据的分析处理以及数据挖掘的效率，见图2示意。图2. 近红外光谱分析平台云化示意图3、构建云计算自动化（智能）建模服务系统通常，在建立样本数量大于3000个以上的近红外校正模型时，样本量越大，运算速度越慢，对计算机性能的要求越就越高，且在建模过程中，如组织训练集或校正样本集、清洗异常样本、筛选适宜的建模数据等等，基本是基于“文件夹”来操作完成的，对网络环境中的大体量的数据资源，因缺乏探索性数据分析的网络计算手段而难于被充分利用，传统的建模方式和流程效率低、适应性差。基于网络资源进行化学计量学网络计算，现代云计算技术为化学计量学计算研究搭建了高灵活性平台。如何选择诸如Hadoop、Spark等生态圈技术，通过分布式计算提升定性、定量建模效率，并结合长期积累的建模经验、领域知识（包含相关的波长或波段选择、光谱预处理方法及其经验参数设置、模型误差水平控制等），实现自动化建模，这是我们要联合网络计算专家实现近红外光谱分析网络化云计算所要解决的问题。显然，把传统的近红外光谱定量、定性分析涉及的训练集样本或校正集样本的筛选、光谱的预处理、建模等化学计量学方法（算法）网络化，开发分布式计算的化学计量学软件系统（当然，这也是数据挖掘的重要组成部分），共享应用网络软、硬件资源优势，平衡计算负载，实现近红外光谱分析云计算，可能是一种比较好的解决思路，这无论是对近红外光谱定性定量分析的普通用户，还是对近红外光谱数据进行深度挖掘的高级用户，都具有较好的便利性和实用性。4、研发基于特征模型的网络搜索引擎基于多维质量特征数据（结构化和非结构化数据），诸如烟草产地生态、等级、品种、理化性质指标、近红外光谱、形态形状图像等，选取不同的特征，通过模式识别技术建立用户预期的质量特征类模型，然后应用“基于特征模型的网络搜索引擎+类模型”搜索网络共享资源（中心云或边缘云）中具有相近或相似质量特征的样本，也就是在网络共享资源中“淘宝”，寻求在产品制造中烟叶原料的替代应用，保障产品质量的稳定。搜索引擎形式类似“百度”或“Google”。这里以烟草近红外光谱定性分析的应用举例说明，我们需要什么样功能的“搜索引擎”，近红外光谱包含丰富的化学物质结构信息，且近红外光谱与物质组成及含量相关，不同属性、特征的烟草样品具有相应的特征近红外光谱，通过结合烟草领域知识，采用适宜的化学计量学模式识别方法（如基于PCA的各种分类算法、ANN或SVM等）来提取烟草样品近红外光谱特征信息，训练能表征质量特征的近红外光谱类模型，应用验证通过的类模型和待测烟草样品近红外光谱便可预测待测样品的归属类别或特征。常规近红外光谱定性预测分析是基于“文件夹+类模型”进行操作的，而在网络环境中，近红外光谱定性预测分析必须网络化，预测是在云化的近红外光谱分析网络平台上，应用“基于特征模型的网络搜索引擎+类模型”寻找“隐藏”在“中心云”或“边缘云”中的数据资源（见图3示意），它承担着大体量的网络计算。基于特征模型的网络搜索引擎是“云计算自动化（智能）建模服务系统”预测分析网络化的延展，可简单视为是一个“网络预测器”，当然，这个“网络预测器”需要网络计算专家和近红外光谱化学计量学算法专家联手研发。图3. 近红外光谱分析网络化应用示意图5、其它针对不同应用场景或职能部门，利用中心云数据或边缘云数据进行一些简单的在线统计分析计算，并对结果进行可视化展示，如原料生产部门可快速实现对烟叶质量指标的比较，分析烟叶质量的稳定性、质量变化走势等。开发一些满足不同应用场景的APP、微信小程序、公众号等（见图3示意），也是一项值得开展的工作。（作者：王家俊 云南中烟工业有限责任公司）

北京工商大学人工智能学院 张倩 高翔 崔程（导师：吴静珠）2022年10月20～22日，为期三天的全国第九届近红外光谱学术会议在线上召开，此次会议全力展示了我国近红外光谱领域所取得的最新进展及成果，增进了广大近红外光谱科技工作者和广大近红外分析工作者之间的交流与合作，进一步促进了我国近红外光谱事业的发展。本次会议中外专家学者汇聚一堂，近3000人报名参会，会议规模再创新高。此次会议共安排了80余场报告，内容涵盖了化学计量学方法、仪器与测量附件、光谱成像与过程分析，以及近红外光谱技术在农业、食品、化工、制药等多个领域的应用进展，为参会人员呈现了一场既有深度亦有广度的学术盛宴。以下从多种角度介绍本次会议亮点及参加会议的心得体会。首次邀请国外学者进行汇报，扩充国际视角本次会议，不仅汇集了数十位近红外领域顶尖的国内专家，还邀请了四位国际知名教授、专家站在国际视角，现场分享近红外技术的最新发展。来自日本名古屋大学的Satoru Tsuchikawa教授带来了题为《State-of-Art NIR Imaging Research For Agriculture and Forestry》的报告，详细讲述近红外成像技术在农业和林业的研究进展；来自韩国汉阳大学的Hoeil Chung教授的报告题目为《Identification of gallbladder cancer through NIR analysis of bile and quantitative detection of microplastics captured in perfluorocarbon》，通过对于胆汁的近红外分析和定量检测来诊断胆囊癌，展现了近红外光谱在疾病筛查领域具有的广泛应用前景；来自西班牙Córdoba-UCO大学的Dolores Pérez-Marín教授分享了报告《Current Trends in The Use of NIRS Spectroscopy for The Control of Agrifood Products and Processes》，介绍了在农产品、食品品质和生产过程控制中近红外光谱技术的应用趋势；奥地利因斯布鲁克大学分析化学和放射化学研究所所长Christian Wolfgang Huck教授针对微型光谱仪的现状与未来带来了题为《Present and Future of Miniaturized NIR-Spectrometers Combined with Challenging Data Management Strategies》的精彩汇报，介绍了近年来不同分光原理的微型光谱仪应用领域发展及智能化水平提升等趋势。数十位资深近红外专家相聚云端，现场分享最新的研究进展本次会议十余位在近红外检测领域深耕多年的专家教授分享了自己从事近红外光谱分析技术应用研究与实践十余年的经历、经验和心得体会，为青年学者进行后续的研究提供经验与启发。南开大学的邵学广教授结合近红外光谱分析的需求，简述近红外光谱分析中所涉及的化学计量学方法，阐述化学计量学对近红外光谱分析的作用和意义。化学计量学的核心是正确的使用数学和统计学方法进而从数据中获取与分析目标相关的信息，理解化学计量学方法的原理是保障正确使用的关键，邵教授通过将建模流程拆分，在数据集及评价、建模方法、模型评价与验证、模型监控等步骤中说明如何在近红外光谱分析实践中正确选择和使用化学计量学方法。云南中烟工业有限责任公司的王家俊高工结合自己从事近红外光谱技术在烟叶原料、辅助材料质量控制与品质分析中的应用研究的经验，从近红外光谱定量定性分析与标准、近红外光谱分析网络化与数据挖掘应用、天然样品高质量光谱的测量与参考数据测定、化学计量学方法应用和模型应用和维护五个方面分享了自己的实践体会，同时也展望了大数据时代近红外光谱技术网络化的应用前景，给青年学者提出希冀。华东理工大学的杜一平教授带来自己最新的研究进展，杜教授通过对低浓度组分检测的深度思考，从样品中浓度相关性的角度探讨NIR模型的本质。他提出当样品中存在与被测组分浓度具有相关性的组分时，模型可以“借助”这种关系提升模型性能，样品组成改变时，相关性组分对模型的影响可能影响到模型预测精度，该发现有助于我们进一步理解和应用模型、变量选择结果、模型维护方法以及注意模型更新等。海南大学的云永欢副教授做了题为《我与近红外光谱的十年：从基础理论、方法开发到应用研究》的报告，将自己从开始接触近红外光谱到现在取得的成果和总结的经验精炼在20分钟内向大家进行了分享，给正在学习和进行近红外领域相关研究的在校研究生提供了很多新的思路和研究方向。聚焦近红外技术在食品安全、生物制药、化学化工等热门领域的最新应用本次会议不仅聚焦最新、最前沿的光谱技术，而且对食品安全、生物制药、生命科学、材料等目前最热门的应用领域进行深入探讨。近红外技术在水果分级检测中应用日趋广泛。来自北京市农林学院智能装备技术研究中心的李江波研究员进行了题为《水果内部质量近红外光谱检测技术与设备》的报告。针对近红外光在水果组织中传输存在多重散射和吸收，导致水果内部有效光谱信息难以准确、稳定获取的问题，建立了水果内部光传输特性分析系统，解析了近红外光在水果内部传输机理，提出了逐步切片结合最小二乘拟合的近红外光在水果组织中穿透深度分析法，保证了近红外光谱信号的可靠获取。湖南农业大学李跑教授利用近红外光对果皮穿透能力对柑橘品种、柑橘产地、柑橘霉变进行定性无损检测：对于不同品种的柑橘鉴别分析，采用主成分分析-Fisher线性判别模型（PCA-FLD）+6点平均光谱（赤道4点+顶部+底部）最终实现100%鉴别率，使用同样的方法对不同产地的柑橘进行鉴别，最终结果依然非常优秀；对于霉变柑橘检测，研究了不同波段（长短波段）柑橘近红外光谱对霉变模型的影响，并指出：在建模过程中发现短波近红外光虽然穿透性要强于长波近红外，但长波近红外光建模效果要优于短波近红外。在食品行业近红外技术的应用日渐成熟。福斯华（北京）科贸有限公司的应用专家杨海龙结合福斯华三款近红外光谱仪在肉类行业、谷物交易加工行业以及制糖行业的应用，对近红外光谱分析技术在食品行业的应用进行了分享。温州大学的黄光造老师利用一类自编码器结合近红外光谱实现对奶粉中掺假的检测。四川长虹电气股份有限公司的刘浩工程师深入探讨了近红外光谱在白酒行业的应用：应用近红外光谱技术实现对酒醅的快速检测，可为酿酒生产现场及时提供数据。通过组合不同预处理方法、预处理参数选择、PLS成份数建立定量模型，可以选择出酒醅的水分、酸度、淀粉、残糖的最佳建模方法；自主研发的光谱智能APP可以实现账号管理、光谱采集、光谱曲线绘制、云端模型调用和结果展示等功能。相较于传统实验室，其具有体积小巧、轻便、易携带等优点，非常适合对酿酒车间酒醅进行现场快速检测。近红外光谱在生物制药领域近年来也取得了显著的研究进展。随着制药技术的发展，药物连续化生产正在成为国际制药行业发展的趋势，来自山东大学的李连副研究员分享了报告《近红外光谱分析技术在制药领域的在线应用研究探索》，以光谱稳定获取、光谱-物料实时对应、光谱模型建立等方面为着力突破点，重点介绍了山东大学药物智能制造技术研究团队，应用NIRS在药物生产在线分析方面所做的研究工作及获得的研究成果。来自天津中医药大学的硕士研究生吴晨璐进行了题为《多光谱数据融合用于双黄连口服液的质量检测》，该报告提出了一种基于紫外可见和近红外光谱的数据融合方法，以可溶性固含量和总黄酮为指标的用于检测双黄连口服液质量的方法。来自中国科学院西北高原生物研究所的硕士研究生龙若兰进行了题为《藏药五脉绿绒蒿提取过程中总黄酮含量的近红外在线检测》的报告，该研究以提升五脉绿绒蒿中总黄酮含量在线检测精度为目标，为中药材在线检测模型的建立提供了新的思路。来自天津中医药大学中药制药工程学院的硕士研究生崔同灿进行了题为《草药NIRS指纹图谱转换为HPLC指纹图谱的可行性研究》。在草药的流通和使用的过程中不同批次的药材之间质量波动较大，该报告以菊花和天麻为例，研究不同校准转移方法实现NIRS指纹图谱转换为HPLC指纹图谱的适用性和可靠性。该研究探索了具有不同分析信号的不同类型仪器之间的校正转移的可行性，以期解决草药快速质量评价和成分含量预评估任务，为草药质量控制研究提供新的手段和思路。拉曼光谱成像、高光谱成像、微波频谱分析等多领域的光谱分析技术全面发展 此次会议交流不仅仅限于近红外光谱分析技术，对于其他光谱技术结合化学计量学的研究和应用等也展开了多组报告，对拉曼光谱成像、高光谱成像、微波频谱分析和介电光谱等领域的基础研究、理论创新、及新方法、新技术和新应用进行了介绍。来自武汉轻工大学的四位研究生分别基于拉曼光谱成像技术做了多种研究。肖晓枫同学以小龙虾为研究对象，模拟了微塑料在小龙虾体内的传递途径和累积过程，并利用拉曼成像结合图像处理用于识别和可视化不同小龙虾组织中的微塑料，基于此估计微塑料的污染水平。梅婷娜同学建立了一种基于拉曼成像与化学计量学相结合的高效方法，以同时识别滤袋在浸泡过程中释放出的各种MPs。吕静雯同学以大豆油、菜籽油和棕榈油为研究对象，模拟了油炸行业的煎炸过程，将拉曼光谱结合化学计量学用于定量监测油炸过程中油的降解。徐梦婷同学通过拉曼峰强度建模成功地将山茶油与低价植物油和掺假山茶油区分开，预测成功率达95%以上，为山茶油鉴别提供一种可行方案。来自中国农业大学的博士研究生龙园做了题为《拉曼高光谱用于玉米种子霉变筛选检测研究》的报告：将拉曼高光谱应用于玉米种子霉变样本筛选，结果表明基于竞争自适应重加权算法（CARS）结合胚面和非胚面权重比例为3:7构建的偏最小二乘判别分析模型精度最佳，测试集精度可达90.63%。来自西北大学的硕士研究生郭梦君做了题为《基于表面增强拉曼光谱结合随机森林的水中多环芳烃定量分析》的报告，报告表明表面增强拉曼光谱结合RF可以实现水中多环芳烃的快速准确检测。随着微波电子学和微波测量技术的发展，微波频谱分析方法逐渐发展成为一种独立的快速无损测量技术。微波频谱分析技术已成功应用于许多领域的水分含量测量，包括粮食作物、轻工业产品和建筑材料等。来自中国矿业大学的田军博士设计了一款煤炭水分含量智能测量系统，其将微波频谱分析与距离加权K近邻（DW-KNN）算法相结合，实现了煤炭水分含量的快速无损测量。广州星博科仪有限公司的创办人罗旭东针对高光谱成像技术的应用现状做了题为《高光谱实时分类技术在机器视觉中的应用和发展》的报告，介绍了针对高光谱成像技术三维成像数据，数据量巨大问题的解决方案，以及在工业现场的实际应用。来自北京工商大学崔程同学在其报告《基于近红外高光谱成像的花生冻伤检测》中研究利用高光谱成像技术对花生是否冻伤进行定性检测研究，采用四种变量选择方法CARS、SPA、VCPA-IRIV、VCPA-G在全谱范围内选择出与花生冻伤相关的特征波长，并按照每个波长变量的重要性进行排序组合建立支持向量机模型，最终在保证一定判别准确率前提下筛选表征花生冻伤的特征波长，并通过光谱吸收峰解析花生冻伤光谱检测机理。来自西北农林科技大学的杨可博士和朱杰亮同学报告了使用介电光谱检测牛初乳中掺假的检测研究，介电光谱具有波长长、在乳中穿透深度大、散射影响小等优点，在非均质乳的在线检测中具有很大的潜力。杨可博士通过建立基于近红外光谱和介电光谱的初乳成熟乳含量定量鉴别模型来比较近红外光谱和介电光谱在定量鉴别掺假初乳中的性能。研究显示NIRS和DS均能清晰识别初乳中成熟乳的比例，但两种方法的识别特征完全不同。DS比NIRS能更好地预测初乳中成熟乳的掺假，在非均质液体食品的快速定量分析中具有良好的潜力；朱杰亮同学建立了一种基于介电光谱的成熟乳初乳掺假快速检测的新方法，利用合理的算法分析其影响因素和机理。多种最新检测仪器亮相，助力近红外光谱检测发展近红外技术的研究和应用离不开仪器技术的进步，本次会议得到了12家国内外知名仪器公司的大力支持，多家仪器企业也派出资深技术人员现场分享最新的产品和技术。来自无锡迅杰光远科技有限公司的技术总监兰树明做了题为《颗粒样品NIR漫反射光谱提高采样精度方法的研究》的报告，介绍了一种颗粒样品提高采样精度的方法，研究漫反射光谱化学计量学结果与粒度之间的关系，提出一种大光斑侧照式混合光学采样方法，扫描全部样品的漫反射光谱信息，并将颗粒产生的随机光谱噪声通过简单的平均方法实现有效抑制，提高颗粒样品的分析精度，使颗粒样品无需粉碎能够得到高精度的分析结果。海洋光谱的晏彬彬分享了如何在科研和生产中选择适合的近红外光纤光谱仪，介绍了海洋光学多款新款小微型近红外光谱仪，以大波段范围、高灵敏度、全谱波段信号优化为主要升级目标，有效的提升了仪器的稳定性，数据的可靠性。珀金埃尔默仪器公司的资深产品专员郁露也介绍了珀金埃尔默近(中)红外产品及应用进展。在大会组委会努力不懈的组织与全国近红外技术用户的热情参与下，第九届全国近红外光谱学术会议顺利闭幕。会议为国内外光谱科研工作者及专业技术人士提供一个持续、高效的沟通交流平台，促进了业内交流，提高了光谱研究及应用水平。会议不仅有国外专家的研究分享，还有国内从业数十年的资深专家传授经验，更有数位优秀的青年科研工作者和在读学生在本次会议中分享了最新的研究成果。从了解、质疑，到认可，中国近红外光谱技术经过长时间的发展、实践，现在已经逐渐被各领域用户接受、认可，目前近红外技术的应用研究和技术推广还处在迅速上升阶段。这不但得益于老一辈专家打下的坚实基础，更需要年轻学者和学生的不断进取。会议开幕式上获得第四届“陆婉珍近红外光谱奖” 的各位老师以及会议闭幕式评选的12位获得优秀青年报告奖的青年学者都是我们学习的榜样。