成像测量系统

一、背景介绍：机器视觉可称为人工智能的“慧眼”，成像系统的标定又是机器视觉处理的重要环节之一，其标定精度与稳定性直接影响系统工作效率。在传统机器视觉与摄像测量标定领域，小孔透视模型仍存在高阶透镜畸变无法完备表征和多类复杂特殊成像系统不适用的问题。而基于光线的模型以成像系统聚焦状态下每个像素点均对应空间一条虚拟主光线为前提假设，通过确定所有像素点所对应光线方程的参数即可实现标定与成像表征，可避免对复杂成像系统的结构分析与建模。基于该光线模型，研究院相关课题组发展了各类特殊条纹结构光三维测量方法与系统，实验证明光线模型可通用于多类复杂成像系统的高精度测量，是校准非针孔透视成像系统的有效模型，可作为透视模型的补充。二、光线模型Baker等人最早提出了一种可表征任意成像系统的光线模型[1]，认为图像是像素的离散集合，并以一组虚拟的感光元件“光素”表示每个像素与某像素相关联的空间虚拟光线间的完整几何特性、辐射特性和光学特性，如图1所示。因此，光线模型的标定即确定出所有像素点对应的光线方程，无需严格分析和构建成像系统的复杂光学成像模型，具备一定的便携性和通用性，从一定程度上也可避免镜头畸变的多项式近似表征引入的测量误差，为非小孔透视投影模型成像系统的表征提供了一种新的思路。图1 成像系统的光线模型示意图三、基于光线模型的条纹结构光三维测量在条纹结构光投影三维测量领域，光线模型一方面可作为三维重建的光线方案，用于表征大畸变镜头、光场相机、DMD投影机、MEMS投影机等多类特殊结构的成像与投影装置，可发展新的基于光线模型的条纹结构光三维测量方法与系统；另一方面，发掘光线模型在结构光测量中的优势，光线模型对克服投影与相机的非线性响应、大畸变镜头成像下提升三维重建精度具有优异的效果。3.1 Scheimpflug小视场远心结构光测量系统光线模型与三维测量课题组开发了小视场远心结构光测量系统，采用Scheimpflug结构设计确保公共景深覆盖，如图2所示。考虑到远心镜头属平行正交投影、Scheimpflug倾斜结构造成畸变模型非中心对称，因此，提出一种基于光线模型的非参数化广义标定方法[2]。系统中相机与投影机成像过程均采用光线模型表征，标定其像素与空间光线对应关系，计算光线交汇点坐标，实现三维重建。图3展示了系统实物图与五角硬币局部小区域的三维测量结果，测量精度为2 μm。图2 Scheimpflug小视场远心结构光测量系统图3 测量系统实物图与五角硬币局部的三维测量结果3.2光场相机的光线模型标定与主动光场三维测量课题组发展了基于主动条纹结构光照明的光场三维测量方法与系统。光场相机通过在传感平面前放置微透镜阵列，实现光线强度和方向的同时记录，由于存在微透镜加工误差、畸变像差、装配误差等复杂因素影响，光场相机完备表征与精密标定是个难题。课题组提出光线模型表征光场成像过程[3]，即将光场相机内部看作黑盒，直接建立像素m与所对应的物空间光线方程l的参数，如图4所示。并通过标定光场所有光线与投影条纹相位的映射关系实现被测为物体的高精度三维测量，考虑光场多角度记录特点，构建基于条纹调制度的数据筛选机制，实现了场景的高动态三维测量，如图5所示，黑色面板与反光金属可同时重建。图4 光场成像模型图5 主动光场高动态三维测量3.3 DMD投影机与双轴MEMS激光扫描投影机的光线模型标定与三维测量基于微机电系统（MEMS）激光扫描的投影机以小型化、大景深的优势被应用于条纹投影测量系统，如图6（a）所示。但由于其依赖激光点的双轴MEMS扫描投影图案，不依赖镜头成像，透视投影模型表征会存在一定误差。此外， DMD等依赖镜头成像的投影机，大光圈设计也会影响小孔透视投影模型的表征精度。对此，课题组采用光线模型表征投影机[4]，并提出了一种基于投影机光线模型的条纹投影三维测量系统标定方法，该方法根据双轴MEMS投影的正交相位对光线进行识别追踪，利用投影光线与相机构建的三角测量实现了三维重建。进一步发现：由于投影光线的相位一致性特性，光线模型可显著抑制系统非线性响应引起的测量误差，图6（b）展示了单目系统在3步相移条件下（未额外矫正非线性响应），分别使用透视投影模型与光线模型对石膏雕塑的三维重建结果，可见光线模型对非线性响应影响具有免疫性。图6 双轴MEMS激光扫描投影原理和石膏雕塑三维重建结果（3步相移，左图为透视投影模型，右图为光线模型）3.4单轴MEMS激光扫描投影机光线模型标定与三维测量单轴MEMS投影机将激光点扫描拓展为面扫描大幅提升了投影速率，可应用于动态测量。针对单轴MEMS投影机无透镜结构使得针孔模型不适用、单向投影无法提供正交相位特征点的问题，课题组提出一种基于等相位面模型的系统标定方法[5]，推导出了相机反向投影射线与该等相位面交点处的三维坐标值与相位值间新的映射函数，实现了快速三维重建。图7展示了使用高速相机搭建的单目测量系统和重建场景，投影采集速率为1000 frame/s，采用4步相移与雷码图相位展开，三维重建速率为90 frame/s。后续为适应更高速率测量应用，可将单目扩展为双目或多目系统，采用单帧解调相位和多极线约束相位展开等方法减少投影图像数量，提升三维测量速率。图7三维测量系统与动态重建场景3.5大畸变镜头成像的光线模型标定与三维测量针对传统低阶多项式不能完备表征大畸变镜头的问题，课题组采用光线模型表征大畸变镜头相机成像，并提出一种完全脱离对相机和投影机内参依赖（透视模型依赖相机与投影机内参）的光线与条纹相位映射的三维重建方法。通过直接标定相机光线与条纹相位的倒数多项式映射系数，避免了繁琐耗时的对应点搜索与光线插值操作。图8为装配4 mm广角镜头的光线标定结果与标准球三维测量结果，可见由于广角镜头畸变较大，光线模型较透视模型重建质量有所提升。图8 广角镜头光线标定与标准球三维测量数据的拟合误差分布（a）透视投影模型，（b）光线映射模型四、总结光线模型通过确定所有像素点所对应光线方程的参数实现标定与成像表征，从而避免了对复杂成像（投影）系统的结构分析与建模，解决了特殊条纹投影三维测量系统的标定与重建问题，同时在条纹投影三维测量的系统非线性相位误差抑制和精度提升上展示出优异性能。在结构光三维测量的未来发展中，可进一步扩展光线模型三维测量的方法与应用，提升测量精度、效率与通用性，解决各类特殊复杂场景中的应用测量问题。参考文献[1] Baker S, Nayar S K. A theory of catadioptric image formation[C]//Sixth International Conference on Computer Vision (IEEE Cat. No.98CH36271), January 7, 1998, Bombay, India. New York: IEEE Press, 1998: 35-42.[2] Yin Y K, Wang M, Gao B Z, et al. Fringe projection 3D microscopy with the general imaging model[J]. Optics Express, 2015, 23(5): 6846-6857.[3] Cai Z W, Liu X L, Peng X, et al. Ray calibration and phase mapping for structured-light-field 3D reconstruction[J]. Optics Express, 2018, 26(6): 7598-7613.[4] Yang Y, Miao Y P, Cai Z W, et al. A novel projector ray-model for 3D measurement in fringe projection profilometry[J]. Optics and Lasers in Engineering, 2022, 149: 106818.[5] Miao Y P, Yang Y, Hou Q Y, et al. High-efficiency 3D reconstruction with a uniaxial MEMS-based fringe projection profilometry[J]. Optics Express, 2021, 29(21): 34243-34257.课题组简介：本文作者：刘晓利 ，杨洋 ，喻菁 ，缪裕培 ，张小杰 ，彭翔 ，于起峰 ；深圳大学物理与光电工程学院深圳市智能光测与感知重点实验室。以于起峰院士领衔的深圳大学智能光测图像研究院主要研究方向包括大型结构变形与大尺度运动测量、超常光学测量与智能图像分析、计算成像与三维测量以及多传感器融合感知与控制等。

一、项目基本情况1.项目编号：ZTXY-2023-H21768项目名称：北京理工大学纳米光谱与成像探测系统采购预算金额：700.000000 万元（人民币）最高限价（如有）：700.000000 万元（人民币）采购需求：名称数量单位简要技术要求是否接受进口产品北京理工大学纳米光谱与成像探测系统1套采用散射式近场光学（s-SNOM）设计，近场光学空间分辨率与入射光波长无关，在可见光和红外光波段范围内均能够实现光学超分辨成像，光学空间分辨率≤10nm；是 合同履行期限：合同签订后12个月内交货并安装完毕。本项目( 不接受 )联合体投标。2.项目编号：ZTXY-2023-H21769项目名称：北京理工大学超高速波长调制光学测量系统采购预算金额：765.000000 万元（人民币）最高限价（如有）：765.000000 万元（人民币）采购需求：名称数量单位简要技术要求是否接受进口产品北京理工大学超高速波长调制光学测量系统1套包括4个模块即激光器主机模块、调频模块、锁频模块以及测量分析模块，需保证模块间的互相协作及集成整合，可针对爆轰反应流场的多物理参数是 合同履行期限：合同签订后6个月内交货并安装完毕。本项目( 不接受 )联合体投标。二、获取招标文件时间：2023年12月04日 至 2023年12月11日，每天上午8:30至12:00，下午12:00至16:30。（北京时间，法定节假日除外）地点：北京市朝阳区南磨房路37号华腾北搪商务大厦11层1103室（或邮件方式）。方式：现场报名或邮件方式。邮件方式：在本项目招标文件发售截止时间前，将支付标书款凭证发至邮箱baoming_ztxy100@163.com。邮件主题“【北京理工大学超高速波长调制光学测量系统采购】-XXX公司”。邮件内容“【项目信息（项目名称、项目编号），投标人信息（公司全称、统一信用代码），联系人信息（姓名、手机号、电子邮箱）】”以标书款到账时间为准，逾期汇款报名无效（未及时发送报名信息导致的后果，投标人自行承担）。售价：￥500.0 元，本公告包含的招标文件售价总和三、对本次招标提出询问，请按以下方式联系。1.采购人信息名 称：北京理工大学　　　　　地址：北京市海淀区中关村南大街5号　　　　　　　　联系方式：陈老师，010-68912384　　　　　　2.采购代理机构信息名 称：中天信远国际招投标咨询(北京)有限公司　　　　　　　　　　　　地　址：北京市朝阳区南磨房路37号华腾北搪商务大厦11层1103室　　　　　　　　　　　　联系方式：王文姣、王师安、于海龙、成志凯、张静、鲁智慧，010-51908151 　　　　　　　　　　　　3.项目联系方式项目联系人：王师安电　话：　　010-51908151

一、背景 纺织品作为颜色传播的重要载体，对织物颜色的准确度和均匀度具有较高要求。在纺织工业生产中，加工出符合要求的布料和成衣的两个前提条件是准确测量样品布匹颜色和严格控制印染颜色。 工业上测量织物颜色最常用的分光光度法只能测量单色织物,对织物尺寸大小要求较高且操作繁琐,使得其并不适应于多色织物或单根纱线颜色测量。 为了满足企业生产和发展的需求,本公司对织物颜色的精确测量方法进行了深入研究,针对当前技术的不足,在分析光谱成像技术的基础上建立高光谱成像系统,提出基于高光谱成像技术的织物颜色测量方法,实现了具有较高精度的颜色测量。光谱成像技术是将光谱技术和成像技术结合在一起,可以测量织物感兴趣区域(ROI)中光谱波段的反射率。从而获得更多的纺织品颜色信息,达到较高的颜色测量精度。二、可行性分析作为一种集光谱学、微弱信号检测、信息处理等于一体的综合性技术，光谱成像技术克服了分光光度法测量纺织品颜色的缺点。光谱成像技术能测量单色、多色和各种形状的织物，从采集的光谱图像中获取每个像素的颜色信息，从而实现光谱成像技术在纺织品颜色测量中的应用。光谱成像技术在对目标的空间信息成像的同时，也对每一个空间像元在波段内进行光谱信息覆盖，从而形成“光谱图像立方体”。浙江理工大学的张盼曾利用高光谱成像仪进行 15 个标准样品与15 个次品颜色测量并计算明度差、色度差和色差，其反射率图片如图 1 所示： 图 1 标准样品与次品反射率对比图 图一（a）为标准样品的反射率曲线，（b）为次品的反射率曲线，从光谱反射率曲线可以直观的看出，单色色织布标准样与批次样间的光谱反射率曲线的走向是一样的，但是在数值上还是有差异的。高光谱成像仪测量织物间颜色可以获得它们的色差值，这反映了高光谱成像仪的测色能力。 三、数据采集设备 数据采集的设备为杭州高谱自主研发的实验室高光谱成像仪（HY-8010-U），设备实景图，如下图。系统参数，见下表。系统核心分光模组完全由高谱公司自主研发，支持选配多种型号图像传感器，并搭配超高像素高清相机实现高空间分辨率与高光谱分辨率的完美融合。同时，HY-80系列可选配自研线性光源和定制暗箱，最大程度减少外部环境对样品检测带来的影响，结合独有的时空辐射校正功能，确保获得稳定的标准化高光谱数据。 HY-80系列实验室高光谱成像仪是一款专门为实验室环境定制的专用设备，能够实现对物质定性、定量、定时、定位信息的精准检测，是一台“图谱合一”的专业化科研设备，为物质分选、刑侦文检、食品监测、真伪鉴定等行业高端应用领域提供高精度的光谱建模与分析解决方案。四、测量结果及结论 通过对标准色卡和花布进行测量，并对测量结果进行反射率校正与值转换。本次选取 RAL 1000-RAL1004 共 5 种颜色样本进行分析，并分为两组进行对比,如图 2 所示，反射率处理结果如图 3 所示。将其转换为 L、A、B 值并对其进行相关处理后结果如图 4 所示:如上图 4 所示，图 4（a）为 RAL1000-RAL1004 五种样品的 L 值对比图、图 4（b）为 a 值对比图、图 4（c）为 b 值对比图、图 4（d）为以 RAL1000 为基准 RAL1001、RAL1002、RAL1003、 RAL1004 四种颜色的色彩度差值。对四块样品布进行想同处理后得到如下结果： 如上图 6 所示，图 6（a）为 1、2、3、4 四种样品的 L 值对比图、图 6（b）为 a 值对比图、图 6（c）为 b 值对比图、图 6（d）为以 1 为基准 2、3、4 四种颜色的色彩度差值。综上所述，可看出高光谱成像仪检测的 Lab 值具有明显差异。