近期,中国科学院上海光学精密机械研究所信息光学与光电技术实验室司徒国海研究员团队在基于深度学习的频谱欠采样及复原方面取得新进展。研究团队通过联合优化频谱采样和频谱重建,在7.5%的极限采样率下成功实现复杂场景的高质量彩色重建。相关研究成果以“Learning-based adaptive under-sampling for Fourier single-pixel imaging”为题发表于Optics Letters上。
自然场景图像往往在频域较空域更具稀疏性。传统成像在空域采样,而傅里叶单像素成像(FSI)通过投影不同频率的正弦条纹对场景编码,可直接使用单像素探测器对场景频谱采样。利用频谱稀疏性,FSI可在不显著牺牲图像质量的条件下减少采样次数,提升信息获取效率。但这种有损压缩方法,难以在极低采样率下应用。通过引入深度学习可对降质的欠采样图像进行增强,但其性能受到手动设计频谱采样方案的限制。
研究人员基于自编码架构(图1a),在编码层引入一个可学习的频域欠采样二值掩膜,并在解码层实现对欠采样重建结果的增强,通过计算网络输出结果和标签值之间的差异,指导欠采样掩膜和解码网络参数协同优化。研究人员还引入一个色彩滤波阵列(图1b),获取Bayer格式图像,经Demosaic算法处理得到彩色图像。仿真和实验结果表明,所提基于人工智能的端到端联合优化方法有望为FSI提供最优编解码策略(图2),从而有望促进其在遥感、显微、特殊波段成像、三维成像等领域的应用。此外,这种引入二值采样掩膜的智能欠采样策略可应用于众多需要按重要性降采样的任务中,如傅里叶叠层成像,计算层析等。
图1. 所提方案示意图。(a)利用自编码器协同设计欠采样掩膜和重建网络。(b)使用习得的掩膜来生成照明模式。(c)使用照明模式调制目标,得到的桶信号可以通过预训练的解码网络来重建目标。
图2. 实验结果。FSI-learned:使用所提方法的频谱采样策略的傅里叶单像素成像(FSI)结果;FSI-circle:使用均匀圆形欠采样;FSI-DL:均匀圆形欠采样+深度学习;Ours:所提频谱采样与图像重建联合优化。
[来源:上海光机所]
2023.06.19
1913万!农业农村部黑土地保护与利用重点实验室建设项目仪器设备采购
2024.07.18
2024.07.17
卓立·新品 | 让实验变得更简单、高效!傅里叶红外光谱仪上线
2024.06.26
2024.03.01
版权与免责声明:
① 凡本网注明"来源:仪器信息网"的所有作品,版权均属于仪器信息网,未经本网授权不得转载、摘编或利用其它方式使用。已获本网授权的作品,应在授权范围内使用,并注明"来源:仪器信息网"。违者本网将追究相关法律责任。
② 本网凡注明"来源:xxx(非本网)"的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,且不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、网站或个人从本网下载使用,必须保留本网注明的"稿件来源",并自负版权等法律责任。
③ 如涉及作品内容、版权等问题,请在作品发表之日起两周内与本网联系,否则视为默认仪器信息网有权转载。
谢谢您的赞赏,您的鼓励是我前进的动力~
打赏失败了~
评论成功+4积分
评论成功,积分获取达到限制
投票成功~
投票失败了~