清华大学黄翊东团队：基于深度学习的高空间分辨率片上快速光谱成像

光谱成像扩展了传统彩色相机的概念，可以在多个光谱通道捕获图像，在遥感、精准农业、生物医学、环境监测和天文学等领域得到了广泛应用。传统的基于扫描方式的光谱相机存在采集速度慢、体积大、成本高等问题。基于超表面宽带调制和计算光谱重建的片上光谱成像为实现消费级的便携式光谱相机提供了一种很有前景的方案。图1展示了超表面光谱成像芯片的基本结构，由硅基超表面层和带有微透镜的CMOS图像传感器组成，超表面层包含了360 × 440个超表面单元，每个超表面单元对应于成像空间中的一点，入射光经过每个超表面单元的频谱调制后被下方的传感器像素所探测。任一点处的光谱可以由该点附近的若干个光强探测值重建得到，重建过程对应于求解一个欠定线性方程组。现有的光谱图像重建算法需要通过逐点光谱重建来得到整个数据立方，存在计算耗时长和重建图像存在马赛克现象的问题。

图1 | 超表面光谱成像芯片的结构示意图

由于不同的超表面单元具有不同的光谱调制特性，整个超表面光谱成像芯片在不同波长下具有不同的空间调制特性，因此本文受启发于编码孔径快照式光谱成像算法，采用深度展开神经网络ADMM-net²进行光谱图像的快速重建，其基本架构如图2所示。网络包含K=12个阶段，每个阶段都包含线性变换W(·)和降噪卷积神经网络（通常采用U-net结构）两部分。网络的输入是包含所有超表面单元光谱调制特性的传感矩阵Φ和测量图像y，输出为重建的光谱图像数据立方。

图2 | 深度展开神经网络ADMM-net的基本架构

图3展示了利用超表面光谱成像芯片对标准色卡进行实际成像测量后，采用不同算法重建数据立方的结果。从RGB伪彩色图中可以看出，ADMM-net的图像细节重建效果显著优于采用传统的CVX算法进行逐点光谱重建的结果，有效消除了图像的马赛克现象。并且，相比于传统迭代算法GAP-TV³和端到端神经网络λ-net⁴的重建结果，ADMM-net的光谱重建准确性也更优。此外，采用ADMM-net进行单次重建仅需18毫秒，而逐点光谱重建则需要4854秒，本工作在重建速度上实现了约5个数量级的提升。

图3 | 对标准色卡进行实际成像测量后，利用不同算法进行光谱图像重建的结果

进一步，本工作利用ADMM-net实现了对户外驾驶场景的实时光谱成像，如图4所示，光谱成像速率达到约36帧/秒。从RGB伪彩色图中可见，车辆的色彩重建准确性较好；并且，从第20、100帧图像中的采样点A和B的重建光谱来看，天空和白色车辆的光谱具有明显的差异，有望解决自动驾驶场景中的同色异谱识别问题，避免相撞事故的发生。此外，具有视频帧率的高空间分辨快速光谱成像，也展示出实时光谱成像芯片在机器视觉领域的巨大应用潜力。

图4 | 户外驾驶场景的实时光谱成像结果