红外化成像系统

多模光纤成像技术因其超细微型探头和柔性结构带来的灵活性优势，在生物体内成像、工业检测等领域具有广阔的应用前景，获得了业界广泛的关注。目前，多模光纤成像技术主要分为两类，一类通过在光纤远端产生聚焦点进行扫描成像，另一类通过探测光纤近端的散斑场来恢复光纤远端被探测的全场图像。这两种技术途径已有较完善的理论支撑，能得到较清晰的探测图像，但同时也具有一些难以弥补的劣势。例如：受限于空间光调制器、CCD或CMOS器件的刷新速度，成像帧率较低，难以对高速的事件进行成像；结构中包含自由空间光学元件，因此需要精密的光学对准，无法与传像主体集成实现全光纤化，限制了其应用范围；成像波长受限于CCD或CMOS器件的感光光谱范围，限制了其在红外波段的成像能力。上图 高速多模光纤成像系统示意图。a：实验原理图；b：以神经网络进行图像恢复的流程图；c：光纤探头示意图；d：照明光（黄色箭头）侧面注入探测光纤的示意图，信号光（红色箭头）在纤芯中传播；e：探测光纤远端照片，端面通过烧球来更好地聚焦照明光，比例尺500微米。为此，清华大学精密仪器系先进激光技术研究团队基于十多年来在光纤激光器、光纤器件和光纤传感的技术积累，提出了基于多模光纤模式色散和深度学习的高速全光纤化成像技术。该技术采用皮秒脉冲光纤激光照明被测物，利用多模光纤的模间色散特性将被探测图像的空间信息在时域上展开，时域信息通过单像素探测器进行探测，并借助神经网络训练的方法，由一维时域信息恢复出二维图像信息，整体结构和原理如图1所示。图2 被探测图像与其对应的波形和恢复结果该技术通过一个光纤侧面耦合器将皮秒脉冲光纤激光耦合到探测光纤中，然后从光纤的远端出射照到物体上，反射光进入探测光纤后紧接着进入与之连接的一公里长的50/125微米直径多模阶跃光纤中传播。由于模间色散的存在，进入多模光纤的脉冲光会产生分裂形成脉冲串。如图2所示，不同的光纤横模具有不同的群速度，因此在时域上会彼此分离，而这些横模包含了被探测图像的空间信息，通过模式色散便可将被探测物体的空域信息在时域上展开。图3 不同类型图案的成像效果通过超快光电探测器可以获得脉冲串波形，经神经网络模型进行训练后，可以直接从不同的脉冲波形中恢复出被探测图像。图3展示了来自不同数据库中图案的成像效果。该系统的成像帧率主要取决于脉冲光的重频，目前实验中已实现高达15.4Mfps帧率的成像，并实验验证了达到53.5Mfps帧率的可行性。系统在高帧率成像的同时具备连续采集一万帧图像（大帧深）的能力。如果采用重复频率更高的激光照明源，并搭配更快的光电探测器和时域波形采集设备，其帧率可以持续提升。团队所提出的新技术的突出优点是：帧率主要由脉冲光源的重频决定，成像帧率高；全光纤化的系统结构紧凑，细如发丝的探头大大增加了灵活性；单像素成像，探测波段不再受限于可见光，可扩展到近红外、甚至中波红外等其他波段；采集时域信号而非空间分布，抗干扰能力强。该系统在某些高速成像场景中比如体内高速细胞成像，或工业场景下对难以开放系统的内部高速成像检测等领域具有巨大应用潜力。该研究成果近日以“深度学习赋能全光纤高速图像探测”（All-fiber high-speed image detection enabled by deep learning）为题，发表在《自然通讯》（Nature Communications）上。该论文通讯作者为清华大学精密仪器系副教授肖起榕，第一作者为精密仪器系2018级博士生刘洲天。该研究得到了国家自然科学基金资助。 清华大学精密仪器系先进激光技术研究团队学术带头人为系主任、教授柳强，团队以现代化强国建设与国家重大需求为导向，着眼于光电子技术领域的科学与技术发展前沿，围绕固体激光、光纤光学、自适应光学、激光探测等方向，开展基础科学探索、应用基础研究和系统技术研发，全面覆盖高功率激光光源、光束控制、光电探测等技术领域。团队承担国家科技重大专项、国家重点研发计划、“973”计划、“863”计划、重点验证、专项配套型号研究等一系列重大项目，形成了从高功率激光光源到微弱光电信号测控的整套技术链条，具备完整的激光光电和测控技术能力，在相应研究方面取得了重要进展。2018年获批建设光子测控技术教育部重点实验室，2019年入选重点领域科技创新团队。

“就像船在大海中遇到10米巨浪，但舱内桌子上水杯中的水却稳到没有一丝肉眼可见的细纹。”谈到团队研制的电子自旋和自旋极化电流时空演化成像系统的稳定性，复旦大学物理系教授沈健这样类比。在国家自然科学基金国家重大科研仪器研制项目支持下，沈健团队挺进科研仪器研制“无人区”，将飞秒超快自旋显微技术、音叉式自旋结构显微技术、自旋极化电流显微技术相结合，研制出技术指标明显领先国际同类商用仪器的成像系统。目前，该项目已获国内、国际专利授权9项，在《科学》《自然》等期刊发表论文8篇，培养出大批优秀人才。项目组科研人员与第三方技术验收专家交流合影科学界的共同难题电子自旋是凝聚态和材料物理学中许多奇妙现象的根源。从凝聚态物理角度来说，几乎所有的重大现象，比如高温超导、庞磁阻、多铁效应、量子霍尔效应等都和电子自旋有关。“要理解这些重大现象，必须表征电子自旋结构和自旋动力学。”沈健对《中国科学报》说，“通俗点讲，就是要看清电子自旋如何在空间排列，并弄清其运动轨迹、运动状态，才能真正理解这些现象的本质。”理解电子自旋与量子材料物性的关联，并在自旋器件中做到高效自旋输运，是目前自旋相关研究的关键。而解决这个关键科学问题的最大技术瓶颈就是如何表征电子自旋及其动力学过程。沈健解释说，由于电子自旋之间的相互作用在空间上具有多尺度特征，在时间上具有超快响应频率，其本身又有静态（自旋结构）和动态（自旋动力学）的区别，尤其是在自旋器件中，自旋随电荷处于流动状态。“人们‘看清’电子自旋的难度，就像在太空中观察地球时，能够清楚地看见上面的一个足球。”沈健补充说，“而且，我们不仅要看见这个足球，还要弄清它在比赛中是怎么被传递的，甚至还要以十万亿分之一秒的时间精度，看清它的运动轨迹。因此，同时在单原子的空间尺度和飞秒的时间尺度看清电子自旋是目前国际科学界面临的重大挑战。”“到目前为止，科学家要么只能在单原子尺度看见静态的电子自旋，要么只能牺牲空间分辨率，在百纳米尺度研究电子自旋的超快动力学过程。”该团队成员之一、复旦大学教授吴施伟说，“我们就是要做一个显微镜或成像系统，它既能看见单独的电子自旋，又能在飞秒尺度上看清电子的自旋轨迹。”五级减震挑战2015年，该团队承担的科研仪器研制项目执行初期，一条来自上海市政方面的“大消息”让项目组忧心忡忡：上海市规划的地铁10号线延长线紧邻学校。地铁最近的地方，离该团队的地下实验室不足百米。此前，国内高校就曾传出学校附近的地铁震动影响科学实验的消息。而在原子尺度上看电子自旋，对背景噪声水平要求极高，任何外界极细微的扰动，都会影响该系统的成像效果。当时，能不能在这里建实验室、采取什么样的避震措施成为项目组讨论的焦点。经过多轮研讨，该团队制定出一套减震方案，虽然理论推算上能自洽，但实际上是否可行，大家意见并不一致。“上海处在一个冲积平原上，土质很软。”该团队成员之一、复旦大学教授殷立峰说，“地铁经过时的震动，对仪器影响会非常大。”最后，该团队和上海市政方面协调，找来几辆满载的重型土方车，沿着地铁线路行驶，尽可能模拟地铁运行所造成的恶劣环境，从而获得震动的一手数据。“当百米开外的满载土方车开过时，我们在实验室中测到了强烈的2.5赫兹震动，震动强度比平常高了一个数量级，所以地铁的影响非常明显，大概与我们无液氦制冷机所产生的震动相当。”吴施伟说。经过多次努力和尝试，该团队制定了一套特殊的“五级减震”方案。按照该方案，他们将仪器安放在实验室墙角一个特定位置，然后安装上能探测震动大小，并据此主动调节气压的“气浮”平台，再给扫描隧道显微镜镜头安装两级波纹管隔离制冷震动，最后通过扫描头的弹簧和探针不同的频率特性，阻断剩余的高、低频两种震动。经多轮评估，专家组认为这种“五级减震”方案在理论上可行，有机会使震动减少7个数量级，即达到“船在惊涛骇浪里剧烈颠簸，杯中水面纹丝不动”的效果。2021年6月，该项目进行正式验收时，上海的地铁10号线延长线已经投入运营半年多了。在这样的测试环境下，该系统测试的所有16项指标均达到或优于项目计划。“现在我们的减震效果完全达到最好的液氦制冷商业仪器的同一水准。”吴施伟补充说，“地铁经过或开关制冷压缩机完全看不出任何差别。”蹚出两条路“这套系统有两大亮点：一是减震系统；二是在减震条件下的无液氦制冷技术。”沈健介绍说，“除对稳定性要求极高外，该系统对温度条件要求也十分苛刻。”极低温制冷技术通常有两种：一是利用压缩机制冷；二是使用液氦制冷。国际上多采用液氦来制造极低温条件，但我国是贫氦国家，液氦供应受制于人。“液氦特别昂贵，大量使用液氦来做实验，成本也几乎到了难以承受的地步。”沈健说，“所以，无液氦制冷就成为一个新的技术发展方向。”但制冷压缩机本身就是巨大的震动源，用在对震动极其敏感的仪器上，影响自不必言。项目进行中，该团队再次陷入技术路线的巨大争议。经过反复的讨论与争论后，该团队决定采用两条技术路线，即尝试大幅减震条件下的无液氦制冷技术。“我们团队有个特点，每两周有全组（包括学生）的大讨论，讨论技术路线、审视各种方案。”该团队成员之一、复旦大学教授高春雷说，“之所以采取两条路线，实际上是因为当时谁也说服不了谁，干脆各选一条路向一起汇合。”该团队成员之一、博士后孙泽元说：“我们团队配备有数名设计、加工、焊接方面的专业技术人员，所以一些新的想法很快就能进行测试，这大大加快了研发进度。”就这样，该团队首次实现了2K（K氏温度）低温无液氦制冷，同时在低噪环境下成像的重大突破（最低1.2 K，远低于国际上无液氦制冷同类商业仪器9 K的技术指标）。目前，该系统在精度、时间分辨率和低温条件等方面均领先国际水平。“和液氦技术相比，我们这个系统的优势之一是可以长时间运行（液氦技术需要定期停机补充液氦）。”殷立峰说，“另一个优势是可以在1.2K到300K之间任意改变温度（液氦制冷仪器一般只能实现某几个固定温度）。”目前，国际上还没有类似指标的成像系统，这让沈健等人“有点踏入无人区的感觉”。同时，他们又非常幸运，该团队两条技术路线最后都“走通了”，这也为今后无液氦低噪制冷技术提供了更多选择。“说心里话，我们非常感谢国家自然科学基金对科研仪器研制项目非常大的支持力度，所以我们能做一些真正开创性的仪器研发，走进‘无人区’，挑战一些难度更大的事情。”沈健说，“对我们来说，它真正帮助我们在仪器研制上取得了长足的进步，同时，一批年轻科研人员也在这个项目中成长了起来。”《中国科学报》：您认为科研仪器在科研中起着怎样的作用？沈健：物理学是一门以实验为基础的科学，现代物理研究几乎离不开科研仪器。成像系统就像人的眼睛，在对物性的研究中，只有看得更清、研究得更细，对其中的物理才能理解得更加深刻，才能发现一些新现象。本项目在自主研发中产生的一些新范式，也会带来基础研究的突破。基于研发过程中产生的无液氦低温隔振平台和原位自旋极化扫描隧道显微技术，我们厘清了二维磁性材料中层间堆叠结构和磁性耦合的关系，为二维磁体在非线性光学器件、自旋电子学器件上的应用打开了新维度，为面向实际科学问题和科学应用研究奠定了扎实的基础。《中国科学报》：当前我国在该领域的科研仪器研制处于怎样的国际地位，面临怎样的挑战？沈健：单从技术指标上看，目前我们的仪器明显领先于国际上同类商用仪器，但并未真正商业化，还处于实验阶段。我们自己用起来得心应手的仪器，别人用其做同样的实验可能就不行，因为这里面有太多的细节，所以我们还有很多工作要做。《中国科学报》：下一步团队有哪些研究重点？沈健：下一步，我们将推进该成像系统商业化进程，把它做成别人拿来就很容易使用的仪器。但这样一个尖端仪器，不是简单靠某几个人或哪个团队就能实现商业化的，会面临很大挑战。但是，国家花了很多钱，我们不能满足于研制一个只是自己课题组能用的仪器。一方面，我们要让仪器更加成熟、稳定，能让同行拿来真正解决一些重大科学问题；另一方面，我们自己也有很多科学问题，需要借助尖端仪器来解决，这也是我们团队的努力方向之一。

p　　随着检测器和数据处理系统的发展，傅里叶变换显微红外光谱技术在短短的二十几年间从单纯的显微镜与红外光谱联用，发展到了红外成像系统。/pp　　将傅里叶变换红外光谱仪中的红外光束引入显微镜光路，可以获得在显微镜下观察到微小尺寸样品的光学影像及相应成分的红外光谱信息。由于红外光的波长较长，红外显微镜的空间分辨率一般在6um左右。若采用单点检测器收集红外光谱，则为傅里叶变换显微红外光谱仪 若采用阵列检测器收集红外光谱，则为傅里叶变换红外成像系统。红外图像系统的出现大大提高了样品的检测速度，目前在刑侦学、生物学、医学、化学、材料科学和矿物学等诸多领域都得到了广泛的应用。/pp　　无论是显微红外光谱仪或是红外成像系统，使用者最关心的还是仪器的性能指标，也就是显微模式下红外光谱的信噪比及空间分辨率，另外，如何从红外光谱图像中提取有用的信息，也是大家所关心的，下面将综合这几点，介绍红外成像系统的进展。/pp　　一、信噪比/pp　　在红外显微镜和红外成像系统测试中，通过特殊设计的光学系统将测量光束直径缩小到微米甚至亚微米量级，从而可测试尺寸非常小的样品或者是大尺寸样品中非常小的区域，显然此时光通量远远小于常规红外光谱仪，若要获得高的信噪比，对整体光学系统的光路系统要求相应也有很大的很高，通常需要多个光学聚焦镜(卡塞格林镜)联合使用，才能保证红外光同轴，且能量损失最小，如图1所示为PerkinElmer公司红外光谱成像系统中的三卡塞格林镜光学系统。/pp　　红外光先从光源到达卡塞格林镜1，该镜为聚焦镜，将光束聚焦，经过样品，到达卡塞格林镜2，即物镜上，在此光路图中，最重要的卡塞格林镜为3号镜，即到达检测器前，将红外光谱的信号再次聚焦，保证能量最大。/pp　　高的光通量，才能保证高的信噪比，所以红外光谱成像系统中三卡塞格林镜的光路设计在一定程度上决定了其较高的信噪比。/pp style="text-align: center "img style="width: 450px height: 338px " alt="" src="https://img1.17img.cn/17img/old/NewsImags/images/201481101535.jpg"//pp style="text-align: center "span style="font-size: 14px "图1 PerkinElmer公司红外图像系统中的三卡塞格林镜光学系统/span/pp　　如前所述，在红外显微镜和红外成像系统的光通量远低于常规红外光谱仪，且扫描速度较快，常规红外检测器不能满足要求，无论是单点还是图像分析，均需要使用液氮冷却的MCT检测器以保证在快速测量时的高信噪比。此处需要说明，虽然测试速度比较慢，但是单点检测器的信噪比更高、测量光谱范围更宽。/pp　　红外成像系统所用检测器基本上可以分为两种，一是焦平面阵列检测器，另一种是线阵列检测器。焦平面阵列检测器包括两类，第一类主要是由红外显微镜和大面积焦平面阵列检测器(凝视型，以64*64和128*128为主)组成，凝视型同时以步进扫描技术(Step Scan)作支撑 第二类主要是由红外显微镜和小面积焦平面阵列检测器(非凝视型，以16*16和32*32为主)组成，非凝视型不需要步进扫描技术作支撑，而是采用了快速扫描(Rapid Scan)的技术。由于焦平面阵列检测器源于美国军方的技术，美国国防部对此类产品向中国大陆的出口进行了限制，目前仍存在禁运的问题。因此，国内市场上常见的红外光谱仪器公司如PerkinElmer、Thermo Fisher Scientific、JASCO等则提供双排跳跃式线阵列检测器(2*16或2*8)或线阵检测器(1*16)，再结合快速扫描功能，实现红外光谱成像质量和速度的双重提高。目前各仪器厂商阵列检测器的信噪比从150/1~800/1不等。/pp　　二、空间分辨率/pp　　空间分辨率是指被测试的样品采用显微红外“见到”的最小测试面积。采用红外显微光谱仪器的可见光显微系统对样品进行观察，选择感兴趣的测试区域，然后将其划分成若干个采样微区，通常将这些采样微区称为“像素(pixel)”。像素的尺寸是由仪器测试能力与样品表征要求共同决定的。较小的像素尺寸可以提高测试结果的空间分辨率，但是光谱信噪比会降低，测量相同面积的区域时所需时间也要增加。/pp　　由于红外光波长较长，易产生衍射现象，不能像可见显微镜将样品放大至1um甚至更小，一般常规的红外图像系统空间分辨率极限在6um左右，所获得的红外指纹图谱为6*6um区域的信息集合。/pp　　若要提高红外光谱成像系统的空间分辨率，可以考虑选择衰减全反射(ATR模式)。由于常规红外光谱透射或反射成像时物镜与样品之间的介质为空气，而ATR模式中物镜与样品之间的折射率更高的内反射晶体为介质，因而光束半径可以更小，即成像测试时的空间分辨率更高。例如，锗的折射率是空气的4倍，因此以锗作为内反射晶体时，ATR模式的空间分辨率比常规透射或反射模式高4倍左右。所以，在仪器厂家的宣传中可见ATR模式空间分辨率为1.56um的说法，应特别注意，此时为其名义空间分辨率，或称像素空间分辨率，而非实际真正的空间分辨率。/pp　　ATR模式包括ATR单点物镜与ATR成像附件两种测量方式。如图2所示，如果使用ATR单点物镜进行成像分析，每次只能测量与内反射晶体接触的一个像素，然后使晶体与样品脱离，移动样品使内反射晶体接触下一个像素并进行测量，直到获得所有像素的光谱。很明显的问题是，内反射晶体与样品接触后很容易被污染，影响后续像素测试结果的准确性，而且所有像素逐个测量的方式非常耗时。如果使用ATR成像附件，内反射晶体与所测样品一起固定在样品台上，二者之间没有相对位移，避免了晶体污染造成的测量误差。样品台同步移动内反射晶体与所测样品，改变红外光束在内反射晶体上的入射位置，完成所有像素的测量。由于可以使用阵列检测器，ATR成像的测试速度也非常快。但是，受到内反射晶体尺寸的影响，ATR成像的测试面积比较小(目前仪器上通常配备的反射晶体的直径为500um，最大可以定制直径为2 mm的晶体，但应同时考虑检测器、软件等因素)。此外， ATR单点物镜与ATR成像附件有个共同的问题：该方法只能测量距离内反射晶体表面几个微米深的样品部分 在样品表面与内部不一致时，该方法获得的一般只是表面信息。/pp style="text-align: center "img style="width: 450px height: 277px " alt="" src="https://img1.17img.cn/17img/old/NewsImags/images/201481101556.jpg"//pp style="text-align: center "图2 ATR红外光谱成像的两种测量方式。左：ATR单点物镜 右：ATR成像附件。/pp　　2013年，Neaspec公司推出了nano-FTIR光谱仪，利用其独有的散射型近场光学技术发展出来的纳米傅里叶变换红外光谱技术，使得纳米级化学鉴定和成像成为可能。nano-FTIR光谱仪的工作原理如图3所示，将一束宽带中红外激光耦合进入近场显微镜(NeaSNOM)，对原子力显微镜(AFM)针尖进行照明， 通过一套包含分束器、参考镜和探测器在内的傅里叶变换光谱仪对反向散射光分析，即可获得针尖下方20 nm区域内的红外光谱，使得红外光谱成像系统的的空间分辨率突破了微米的界限。该类型仪器综合了AFM的高空间分辨率，和FTIR的高化学敏感度，实现了对有机、无机材料的纳米级化学分辨。/pp style="text-align: center "img style="width: 450px height: 269px " alt="" src="https://img1.17img.cn/17img/old/NewsImags/images/201481101615.jpg"//pp style="text-align: center "图3 Nano-FTIR光谱仪的工作原理/pp　　图4所示为在不使用任何模型矫正的条件下，nano-FTIR获得的近场吸收光谱，由图中可见，其分子指纹特征与使用传统FTIR光谱仪获得的分子指纹特征吻合度极高，这在基础研究和实际应用方面都具有重要意义，因为研究者可以将nano-FTIR光谱与已经广泛建立的传统FTIR光谱数据库中的数据进行对比，从而实现快速准确的进行纳米尺度下的材料化学分析。对化学成分的高敏感度与超高的空间分辨率的结合，使得nano-FTIR成为纳米分析的独特工具。/pp style="text-align: center "img style="width: 450px height: 271px " alt="" src="https://img1.17img.cn/17img/old/NewsImags/images/201481101630.jpg"//pp style="text-align: center "图4 Nano-FTIR所获得的光谱图与传统红外光谱图的比较/pp　　但目前昂贵的价格，较为复杂的操作(需要与AFM联合使用)，以及红外光谱波段的限制(每次扫描的波数范围有限)，光谱分辨率有待提高等，仍是该类仪器需要克服的难题，同时也是未来发展的方向。/pp　　三、红外光谱成像的信息提取/pp　　使用合适的信息提取方法，从像素光谱中获得所需要的信息，是红外光谱成像技术应用的关键。成像所测量的数据为若干个像素的红外光谱，这些像素具有特定的空间位置，一般用横坐标和纵坐标来表示。如果按照测量时的空间位置进行排列，像素光谱数据需要表示为一个r*c*n维的矩阵，因此需要使用适当的数据处理方法，对上述矩阵进行降维。若将每张像素光谱均转换为反映特定信息的单一数值之后，再按照像素的空间位置将这些数值排列成一个r*c维的矩阵，然后以二维或三维图形表示出来，就得到了反映特定信息的数据采集区域的化学图像。/pp　　常见的降维手段包括：像素光谱平均强度图像，该方法可以反映测试区域内样品数量较多的位置 像素光谱图像特征峰强度或面积图像，该方法可以反映测试区域样品中特征官能团的分布情况 使用模式识别方法对像素光谱进行分类，根据像素光谱所属类别将成像区域分割为不同部分，对各个部分的典型像素光谱进行解析，可以了解一些成分的分布情况等。/pp　　本课题组近期也提出了两种新的振动光谱成像数据信息提取方法。 “主成分载荷乘积聚类分析-交替最小二乘法” 可用于没有参考信息时的样品化学成分非靶向解析 “偏最小二乘投影-相关系数法”，则主要用于已知目标成分的靶向检测，对微量成分的识别能力更强。若有兴趣可查阅相关文献，此处不多加描述。/pp style="text-align: right "　　(撰稿人：清华大学 周群)/pp style="text-align: right "　　注:文中观点不代表本网立场,仅供读者参考/p