红外数据分析

p　　span style="font-family: 楷体,楷体_GB2312,SimKai "strong随感：/strong“我与近红外的故事”征文近一年了，看过许多老师情真意切的表达，真是把乐趣融入到了近红外的研究与应用之中，也更加深切地感受到同行们对国内近红外发展的使命感和责任感。而自己与近红外的故事，几次动笔却都没能写下几个字。时间肯定不是借口，惰性真是害人啊。好在拖到春节，总算能静下心来了。就像与近红外的相遇相知，既是机缘巧合，更是某种必然吧。/span/pp　　初识近红外，都是博士毕业一年以后的事了。那时已经在香港理工大学周福添教授课题组从事博士后研究一年多了，主要方向还是老本行-化学计量学基础算法研究，解决中药和代谢组学等复杂体系分析中的数据处理问题，从GC-MS，LC-MS到中药指纹与药物活性关系。一次Daniel MOK博士找到我，询问是否有意愿到陈新滋院士课题组从事中药质量分析与鉴别方面的工作，陈院士那时是理大副校长(后任香港浸会大学校长，现受聘中山大学教授、学委会主任)，研究组的条件与学术水准自不必说，就这样幸运地开始了近二年的近红外数据分析之旅。/pp　　对香港熟悉的朋友一定对其大街小巷的名贵中药材印象深刻，尤其是弥墩道，应该是内地赴港旅游人士的必经之地吧，一是去旺角购买电子产品的旅游大巴必定经过这里，另一方面则是这条大道两旁大大小小的中药材店。记得第一次见到时，很是疑惑哪来的那么多冬虫夏草、燕窝和野生人参?说回到陈院士负责的这个研究课题，由香港赛马会中药研究院提供500万研究经费，对包括上述中药，以及石斛、灵芝、阿胶等在内的30味名贵中药材进行质量鉴别分析和研究，目的是帮助那些大街小巷的药材经销店铺，中间批发商，甚至普通消费者，以快速、经济、简便的方法识别药材真假，甚至质量等级。这些药材大多价格不菲，若能够有效识别真假，其商用价值可想而知!顺便一提，香港赛马会中药研究院很多年前已经解散，个中原因无法深究，但在目前国家大力践行中医药研究开发与应用的今天，这也算是一件憾事吧，包括设想中的香港国际中医药中心。/pp　　说到这里，近红外分析可以派上用场了!无论是十年前，还是十年后的今天，应没有什么分析技术比近红外更适合完成这项使命，综合考虑时间效率、分析成本，亦或是平衡多重因素影响下定性定量分析结果的准确性!记得当时我们使用的是FOSS公司的XDS快速含量分析仪(Type XM 1100 Series)，以及Polychromix手持式近红外分析仪(Model: 1600-2400)。由于项目定位于实际应用，需要适应不同场合下的快速分析，对数据分析本身的要求同样也是比较高的，比如涉及模型传递，尽可能简化数据分析的过程及对使用者的要求，亦确保结果的准确可靠性。基于此编写了功能完备的近红外数据分析软件系统，一站式地完成近红外数据分析的完整流程，从各种各样的预处理方法到特征选择，再到定性定量模型的构建、评价与验证预测，以及模型传递等。/pp style="text-align: center"img src="http://img1.17img.cn/17img/images/201706/insimg/137c0a6d-7548-46ef-beea-f984cce33ba7.jpg" title="2_副本.jpg"//pp style="text-align: center "中药质量分析与鉴别项目中用到的近红外分析仪 (图1和图2)。/pp　　说实在的，那时对化学计量学的多元校正方法并不是特别熟悉，我的整个硕士和博士研究，都是多元分辨方向，也就是如何从中药和烟草等复杂体系分析的联用仪器数据中，发展“数学分离”的方法，获取化学纯组分的定性定量信息，即纯组分的光谱和色谱信息。幸运的是，得益于在梁逸曾教授研究组六年时间里耳濡目染的学习，比如许青松教授对统计分析的讲解，杜一平教授的QSAR研究等等，使得我无论对复杂数据的理解，还是化学计量学方法的应用与发展，都有足够基础支持我去解决近红外数据分析中遇到的各种问题。在香港的几年时间里，梁教授每年也都会利用假期去香港一段时间，与香港同行合作交流化学计量学及其应用方面的成果，更是继续指导我解决研究中遇到的实际难题。每每想到这些，总会浮现与恩师相处过程中的点点滴滴。至于上面提到的中药质量分析研究项目，我们对包括阿胶、珍珠、川贝母、藏红花、黄连在内的多味中药进行了深入分析研究，获得了非常不错的结果，陈院士对此也给予了很高的评价。很清楚地记得因此第一次上了电视新闻，是香港亚洲卫视针对我们使用近红外分析技术，如何快速识别真假中药，及其质量等级的采访报道。当然，这些研究很多也是和理工大学的同事，以及杨大坚教授(现任重庆市中药研究院院长)、董玮玮博士等一起完成的，我主要负责数据分析，以及数据软件产品开发与实现方面的工作。/pp style="text-align: center"img src="http://img1.17img.cn/17img/images/201706/insimg/ac0a45a1-23c7-43bf-8467-f0cb1a6ccb8d.jpg" title="3_副本.jpg"//pp style="text-align: center "中药质量分析与鉴别项目交流会 (图3)，及与日本Yukihiro Ozaki教授交流(图4)。/pp　　离开香港后，很长一段时间内都没有与近红外分析有直接的关联。先是在Philip Marriott 教授课题组做research fellow，从事全二维色谱数据分析方面的工作，主要方向是全二维分离的模拟、预测，以及化学计量学新方法的发展。2012年回国后则作为引进人才，在中科院大连化物所许国旺教授研究组，从事代谢组学数据分析与高分辨LC-MSn数据处理新算法的研究等。看似这些工作与近红外分析不怎么挨着边，但老实说，同其他研究一样，数据分析也是一通百通的事!数据来源与数据结构可能不一样，数据背景与数据分析结果，以及数据处理方法亦可能存在差别，但数据分析的本质却是高度一致的，无论是色谱分离的模拟，亦或是代谢小分子标志物的发现!从这个意义上来说，也算是一直在这个圈子吧。/pp　　近红外技术的发展，面临非常多的机会，无论从国内快检还是工业智能化的需要来看，还是从国外近红外发展的轨迹来看。然而近红外分析更广阔的应用，仍有一系列需要解决的难题，这其中当然包括仪器硬件的小型化、便携式，以及智能化与场景化。但从数据及数据分析的角度来说，快速、准确的模型构建，模型的通用性、更新及转换等仍是需要加以研究的内容。基于此，离开化物所后创办的大连达硕信息技术有限公司，第一个数据产品“魔力”，便专注近红外数据的分析，这也算是真正走在了近红外技术与数据分析的商业应用之路上。希望能够以智慧化、便捷化的方式，分析挖掘科学研究与工业应用中的海量数据。无论对于近红外分析的初入者，还是有了相当经验的人员，一旦采集到数据，便能快速得到好用的模型及结果，这也是目前非常欠缺的，主要原因就在于近红外数据分析的过程长，可变因素多，涉及的算法也很多，传统上要快速得到一个好用的模型并不容易。尽管大多数研究者并没有把数据分析提升到特别核心的位置，但其价值显而易见，甚至在某些方面可与硬件本身相得益彰，弥补硬件的物理劣势!/pp　　另一方面，近红外分析以其简单方便的前处理，加上非常快速的数据采集方式，使得数据的获取，甚至大数据的积累顺理成章。然而即使对同一组数据，不同的研究者亦极有可能得到完全不同，甚至相反的分析结果或结论，即使在固定分析方法的情况下!这是一个容易被忽视，却又至关重要的问题，否则不管如何将近红外分析的硬件评价，以及实验测试全过程标准化，也无法得到可相互比较的结果。数据“横看成岭侧成峰”的魅力，不应是由于数据分析方法或人员的不同导致，而是数据背景的属性差异或者数据分析目的的不同产生。基于此，我们也正采用近红外数据分析的通用准则，使用粒子群等最优化的方法，开发全新的近红外数据分析软件产品，自动优选数据分析算法，以及方法的使用顺序，并全局优化方法的参数。这样我们获得数据后，只需按照标准化的流程一步一步走，便可获得最优的数据分析模型与模型结果。从而使得近红外数据的分析，如同实验分析一样，结果的重现性与可比性也就不再是个问题。避免像现在这样，往往是漫无目的的数据探索，耗费漫长时间也不一定能得到合适好用的模型!这无论在研究中，还是在工业生产中，都是需要花大力气迎接的挑战。在这一过程中，得到了袁洪福教授、吴海龙教授、邵学广教授、杜一平教授、褚小立教授、闵顺耕教授等诸多老师的大力支持与帮助。从老师们关切的眼神中，能读懂那份殷殷之情，也唯有努力做点事情，为国内近红外的发展做些有益的工作，方不负此情。/pp　　近红外分析能做的事情很多，近红外数据分析如是，尤其站在移动互联时代，站在大数据分析挖掘的视角与高度。近红外有其自身特有的巨大优势-本身就是物联网中的一个绝佳传感器!从这个意义上来说，近红外分析代表着某种未来，只是通往未来的路上，还需要我辈站在前辈的肩膀上，不断付出智慧和汗水。/pp　　“师者也，教之以事而喻诸德也。”，数据分析之路上，深深地烙上了梁逸曾教授的影响。亦师亦友者，感恩、深切缅怀您。/pp style="text-align: right "span style="font-family: 楷体,楷体_GB2312,SimKai "　　2017年1月30日于浙江西湖/span/pp　　strong个人简介/strong/pp/pp style="text-align: center"img src="http://img1.17img.cn/17img/images/201706/insimg/e1424397-960a-4e21-a206-9245429e6328.jpg" title="1_副本.jpg"//pp　　曾仲大，男，博士，现任大连达硕信息技术有限公司总经理。/pp　　曾博士师承梁逸曾教授，2006年获得工学博士学位，主要从事化学计量学基础算法研究，以及色、质、光谱等分析技术在制药、烟草和代谢组学等复杂体系分析中的应用及其数据分析挖掘等。近年来在大数据的分析与应用方面亦有涉猎。/pp　　曾博士先后工作于香港理工大学、澳洲RMIT大学、Monash大学，以及中国科学院大连化学物理研究所。迄今已发表SCI论文40余篇，在2013-2016近三年时间里，以第一作者或合作者在美国分析化学杂志发表7篇研究论文，同时获邀为TrAC等权威期刊撰写化学计量学及化学数据分析处理方面的综述。/pp　　曾博士曾获得中国科学院大连化学物理研究所“所百人”引进人才计划，大连“海创工程”计划、高层次人才创新创业支持计划、新兴技术创新成长计划，以及国家人社部高层次海归人才创业计划的支持。公司主要提供复杂化学与生物数据分析服务，数据挖掘软件产品开发，以及个性化数据应用的整体解决方案。/pp　　strong人生格言：/strong有志者，事竟成。/p

近红外数据分析中的关键问题网络讲座顺利召开 2016年8月30日上午，由华东理工大学、南开大学、大连达硕信息技术有限公司共同主办的网络讲座，在仪器信息网，以在线的方式顺利召开。讲座分别由杜一平教授、邵学广教授、曾仲大总经理担任主讲人，围绕近红外数据分析中关键性、经常性问题进行全面、深入阐述。 杜老师从近红外光谱数据预处理、变量选择、模型构建与结果验证等诸多方面，非常细致地介绍了整个建模过程中涉及的算法及算法原理、注意事项，以及普遍遇到的问题及解决方法。杜老师也提到，近红外数据分析绝非看似的那样简单，涉及对数据的理解、对算法的理解。同时不能只关注数学方法，更要记住我们是化学家！邵老师从大数据分析角度出发，阐述近红外数据分析，并延伸到近红外光谱的模型转移。大数据是国家关注的重点方向，企业信息化的推进，数据体量不断增大，需要基于大数据与云计算的手段方法提升效率，挖掘数据价值。近红外的模型转移则是现在生产型企业发展中遇到的，非常棘手的问题。不同厂家、不用仪器的数据和模型不能共享，很难实现数据融合。邵老师经过多年的研究与实践从方法到应用给大家进行了详细介绍。同时邵老师介绍了近红外模型转移中需要考虑和注意的问题，以及目前比较成熟的算法，为大家解决实际问题提供广阔思路。 曾老师则从近红外数据分析应用与软件系统实现的角度，阐述如何能更智慧地构建近红外分析模型，并结合大连达硕信息技术有限公司最新发布的魔力近红外数据分析产品(v2.0版)，全面介绍系统如何实现智慧型近红外数据分析，包括批量文件夹数据载入，智能数据建模算法流，“随时”、“随时”数据建模，全面的建模方法比较，以及优异的用户体验等等。同时鼓励近红外同行们使用产品，支持国产软件发展。讲座后，三位老师延长预定时间，回答大家感兴趣的诸多问题。此次讲座得到了近红外分析和化学计量学同行的普遍关注，人气指数超过5,500，300余人报名参加。讲座结束后，大家通过各种途径表达对讲座的支持厚爱，效果很好，评价非常高。与此同时，大连达硕信息技术有限公司在讲座后，建立化学数据联盟微信群，一方面使与会者可更深入讨论近红外相关问题，推进行业发展，另一方面也广纳同行对联盟发展的意见与建议，促进联盟发展。 大连达硕信息是国家高新技术企业，专注化学与生物行业数据的整合分析与深度挖掘，辅助决策支持，公司全方位提供数据分析服务、数据处理产品，以及个性化数据应用整体解决方案，是我国化学与生物数据应用领域的排头兵。公司技术力量非常雄厚，在化学与生物数据分析领域积累非常丰富的经验，深受客户好评。

p　　本文转载自微信公众号热分析与吸附，作者为中国科学技术大学丁延伟老师，并已获转载授权。/ppstrong　　/strong在《热分析/红外光谱联用的数据分析方法第4部分 仪器分析软件中热重部分的数据处理与作图》和《热分析/红外光谱联用的数据分析方法第5部分 仪器分析软件中红外光谱部分的数据处理与作图》中以实验室在用的美国PerkinElmer公司的热重/红外光谱/气相色谱质谱联用仪为例简要介绍了在仪器的数据分析软件中与热重部分和红外光谱部分相关的数据处理与作图相关的内容，在本部分内容中将简要介绍在Origin软件中GS曲线、FGP曲线以及实时红外光谱图的数据处理与作图相关的内容。由于在Origin软件中不同时刻/温度下的三维红外光谱作图十分繁琐，将在本系列内容第7部分中进行介绍。/pp　　为了保持本系列内容的完整性，以下介绍的大部分内容主要来自本公众号2019年10月6日发布的《在Origin软件中热分析/红外光谱联用的数据作图方法》一文，其中做了相应的修改并增加了实时红外光谱图(EGS图)的内容。/pp　　1. GS曲线的作图法/pp　　一般来说，在由红外光谱分析软件Timebase得到的Excel格式的文件中主要有EGP曲线(即通常所说的GS曲线)文件和不同时刻温度下的逸出气体红外光谱图(即EGS)文件，一共两个文件。/pp　　GS曲线可以直接由导出的Excel格式的GS曲线文件得到，通常说的官能团剖面图(即FGP曲线)可以由EGS文件中导出。/pp　　在Origin软件中对GS曲线的作图十分简单，在Origin软件中导入曲线所对应的Excel文件(图1至图3)。/pp style="text-align: center "img style="max-width:100% max-height:100% " src="https://img1.17img.cn/17img/images/202001/uepic/1db6881e-d64f-41b6-8671-0ae37784c440.jpg" title="图1.jpg" alt="图1.jpg"//pp style="text-align: center "图1/pp style="text-align: center "img style="max-width: 100% max-height: 100% width: 500px height: 308px " src="https://img1.17img.cn/17img/images/202001/uepic/62609940-652e-42c0-967b-5e4165a0c4eb.jpg" title="图2.jpg" alt="图2.jpg" width="500" height="308" border="0" vspace="0"//pp style="text-align: center "图2/pp style="text-align: center "img style="max-width: 100% max-height: 100% width: 543px height: 750px " src="https://img1.17img.cn/17img/images/202001/uepic/54de575b-3929-471b-ad4f-c5b07c3b38ce.jpg" title="图3.jpg" alt="图3.jpg" width="543" height="750" border="0" vspace="0"//pp style="text-align: center "图3/pp　　选中A、B列，点击图4中plot选项，即可得到图5，即为EGP曲线。可以在图5中根据需要改变曲线的粗细、形状和颜色，在此不作详述。/pp style="text-align: center "img style="max-width:100% max-height:100% " src="https://img1.17img.cn/17img/images/202001/uepic/947a9618-194f-4302-aff3-fd6c2fa954a0.jpg" title="图4.jpg" alt="图4.jpg"//pp style="text-align: center "图4/pp style="text-align: center "img style="max-width: 100% max-height: 100% width: 557px height: 464px " src="https://img1.17img.cn/17img/images/202001/uepic/e4ce67e8-3c64-471d-8782-d1ece89f1798.jpg" title="图5.png" alt="图5.png" width="557" height="464" border="0" vspace="0"//pp style="text-align: center "图5/pp　　2. 官能团剖面图(即FGP曲线)的作图法/pp　　下面介绍由逸出气体红外光谱图(即EGS)文件得到FGP曲线的方法。通常在Timebase软件中，可以按照图6的方法，选中Save Time Resolved Data选项导出在实验过程中得到实验范围内不同时刻/温度的Excel格式的所有的红外光谱图。按照图1至图3的方法打开文件，得到如图7所示的界面。图7中，第1行“Long Name”中所对应的数值为温度值(即该行为温度行)，1.98e+001即为19.8℃，其他以此类推。A列对应的为波数值(单位为cm-1)，其他B、C、D...列所对应的为不同温度下的吸光值。也就是说，在图7中，由除A列以外的其他列作为纵坐标轴对A列按照图4的方法作图，可以得到在不同温度下的红外光谱图。另外，在图7中，如果选中温度行和特定的官能团(即特定的波数值)所对应的行进行作图，则可以得到FGP曲线。下面介绍FGP曲线的作图方法。/pp style="text-align: center "img style="max-width:100% max-height:100% " src="https://img1.17img.cn/17img/images/202001/uepic/f42afe19-16bd-432f-980f-506780617eab.jpg" title="图6.jpg" alt="图6.jpg"//pp style="text-align: center "图6/pp style="text-align: center "img style="max-width:100% max-height:100% " src="https://img1.17img.cn/17img/images/202001/uepic/16d2682f-cb11-4132-8b1b-3be6cd40f10c.jpg" title="图7.jpg" alt="图7.jpg"//pp style="text-align: center "图7/pp　　按照图8的方法分别选中2358cm-1所对应的行和温度行，复制整行。br//pp style="text-align: center "img style="max-width:100% max-height:100% " src="https://img1.17img.cn/17img/images/202001/uepic/dcdf9257-47da-4d8b-ad2d-df3abf22d3cc.jpg" title="图8.jpg" alt="图8.jpg"//pp style="text-align: center "图8/pp　　新建一个空白的Book文件，将温度行和对应波数(2358cm-1)的数值粘贴这两行，选中，点击Worksheet菜单下的Transpose选项(图9)，将这两行转换为两列，转换后的表格如图10所示。删除图10中的第一行数据，按照图4的方法作图，即可得到CO2分子的特征官能团在2358cm-1处的FGP曲线(图11)。可以根据需要改变图中曲线的粗细、形状和颜色，在此不作详述。/pp style="text-align: center "img style="max-width:100% max-height:100% " src="https://img1.17img.cn/17img/images/202001/uepic/98c364bc-5af7-4f17-b010-d6c6e9ef31df.jpg" title="图9.jpg" alt="图9.jpg"//pp style="text-align: center "图9/pp style="text-align: center "img style="max-width:100% max-height:100% " src="https://img1.17img.cn/17img/images/202001/uepic/3fe819c4-81c9-4309-8fa2-eebc7492a9da.jpg" title="图10.jpg" alt="图10.jpg"//pp style="text-align: center "图10/pp style="text-align: center "img style="max-width:100% max-height:100% " src="https://img1.17img.cn/17img/images/202001/uepic/8c655662-483b-4efa-9b6e-86d7e8f314c3.jpg" title="图11.png" alt="图11.png"//pp style="text-align: center "图11/pp　　3. 实时红外光谱图(EGS图)的作图法/pp　　在本部分第2节中提到“在图7中，由除A列以外的其他列作为纵坐标轴对A列按照图4的方法作图，可以得到在不同温度下的红外光谱图。”也就是说，在导出的Excel格式的在实验温度/时间范围内的所有红外光谱文件中，选中A列和所对应的一列和/或多列时间/温度列即可得到不同温度/时刻下的实时红外光谱图。/pp　　以下举例说明。图12是不同温度下的一水合草酸钙在加热过程中产生的气体产物的红外光谱图。图中第五行为不同的温度值，第A列为红外光谱的波数值。例如，需要比较第100℃、200℃、500℃和700℃下的红外光谱图的变化，则同时选中这些温度和波数(A列)所对应的列，复制并粘贴到新建的表格文件中，并定义相应列的名称(图13)。同时选中图13中A-E列，点击图4中plot选项，即可得到图14，即为不同温度下的红外光谱图。可以在图14中根据需要改变曲线的粗细、形状和颜色，在此不作详述。由图14可以看出，(1)样品在100℃时样品没有发生分解 (2)在200℃时产生了水，对应于结晶水的失去过程 (3)在400℃时产生了一氧化碳，少量一氧化碳被氧化为CO2 (4)700℃时的气体产物以CO2为主。/pp style="text-align: center "img style="max-width: 100% max-height: 100% width: 600px height: 220px " src="https://img1.17img.cn/17img/images/202001/uepic/a6b0f4c1-4385-4184-8530-572cc84c0cce.jpg" title="图12.jpg" alt="图12.jpg" width="600" height="220" border="0" vspace="0"//pp style="text-align: center "图12/pp style="text-align: center "img style="max-width: 100% max-height: 100% width: 557px height: 285px " src="https://img1.17img.cn/17img/images/202001/uepic/b989ef36-1508-4bde-b282-9029ef1766ff.jpg" title="图13.jpg" alt="图13.jpg" width="557" height="285" border="0" vspace="0"//pp style="text-align: center "图13/pp style="text-align: center "img style="max-width:100% max-height:100% " src="https://img1.17img.cn/17img/images/202001/uepic/128d4fc6-623a-479c-9cdb-4f3865f22608.jpg" title="图14.png" alt="图14.png"//pp style="text-align: center "图14/ppbr//p