双目视觉植物表型分析系统

[font=&]【题名】：[color=#333333][size=24px] [/size][size=16px]基于双目立体视觉的视网膜成像系统研究[/size][/color][/font] [font=&]【全文链接】： https://opticsjournal.net/Articles/OJc190f42e505f054d/FullText#:~:text=%E6%91%98%E8%A6%81.%20%E4%B8%BA%E4%BA%86%E4%BB%8E%E4%B8%8D%E5%90%8C%E7%9A%84[/font]

《产品外观缺陷机器视觉在线检测技术及设备开发》一文由合肥工业大学仪器科学与光电工程学院卢荣胜教授投稿分享，包括自序、研究背景、典型系统组成、成像技术及实现策略、关键核心单元部件、缺陷识别与分类、结束语、致谢几个部分。由于篇幅较长分为四篇发布，以下为第一部分：自序、研究背景、典型系统组成。[b]1．自序[/b]本人1985年大学毕业后在量仪厂从事量具、刃具、工装、专机与机加工工艺开发等技术工作，于1992年从师费业泰教授攻读硕士与博士学位，从事精密机械热变形误差、精密仪器精度理论方面研究， 1998年末博士毕业后又拜师天津大学叶声华教授，从事机器视觉在线检测方面的博士后研究，研究方向随之聚焦于机器视觉与光学精密测量领域。之后在香港城市大学、英国帝国理工学院和哈德斯菲尔德大学进行了为期6年的三维机器视觉、自动光学检测和光学测量技术研发工作，于2006年5月返回母校合肥工业大学任教。回国后继续从事机器视觉与光学测量方面的研究，坚持面向平板显示、新能源、软性电路板、半导体等先进制造产业，注重技术的应用开发。先后主持了国家自然科学基金项目3项、863专项1项、国家科技支撑项目1项、国家重大科学仪器设备开发专项1项、国家重点研发课题1项、以及其它省部级项目和产学研合作项目10余项，在机器视觉与光学测量领域已培养硕士和博士研究生100余人。鉴于在机器视觉技术研究及应用开发方面20余年的研究积累，2021年无锡市锡山区政府与我们科研团队合作，联合创立了一个新型科技研发机构——无锡维度机器视觉产业技术研究院，采用实体化运营模式，面向先进制造产业链，从事机器视觉与光学精密测量方面产业共性关键技术研究与产业化开发。研究内容与产业化业务范围涉及机器视觉缺陷在线检测、三维机器视觉精密测量、机器人视觉引导、半导体检测、机器视觉关键零部件开发等。开发的视觉系统与仪器已经在平板显示、光伏、锂电池、软性电路板、半导体等行业得到成功应用。鉴于篇幅问题，本文重点聚焦于产品外观缺陷视觉在线检测技术，归纳了我20多年来在这些方面的科学研究与产业化开发的进展情况与心得体会。[b]2．研究背景[/b]在产品制造过程中，由于生产环境不理想、制造工艺不规范等各种原因，零部件和产品外观难免会含有多种缺陷，如印制电路板上出现孔位、划伤、断路、短路和污染，液晶面板的基板玻璃和滤光片表面含有针孔、划痕、颗粒，带钢表面产生裂纹、辊印、孔洞和麻点，铁路钢轨出现凹坑、鼓包、划痕、擦伤、色斑和锈蚀，等等。这些缺陷不仅影响产品外观，更重要的是影响产品性能，严重时甚至危害生命安全，对用户造成巨大经济损失，因此，现代制造业对产品的表面质量控制非常重视。产品外观缺陷在线检测最传统的方法就是采用人工目视检测法，目前高端制造工厂大部分都采用自动化生产，但人工目视检测岗位仍占据工厂整体人员的15%-30%。鉴于人工目视检测存在对人眼伤害大、主观性强、准确率低、不确定性大、易产生歧义和效率低下等缺点，已很难满足现代工业对产品质量及外观越来越高的严格要求。随着电子技术、图像传感技术和计算机技术的快速发展，利用基于图像传感技术的视觉在线检测方法已逐渐成为外观缺陷检测的重要手段，因为这种方法具有自动化、非接触、速度快、准确度高等优点。目前，外观缺陷视觉在线检测技术已经广泛应用于工业、农业、生物医疗等行业，尤其在现代制造业，如平板显示、光伏、锂电池、半导体、汽车、3C电子（计算机、通讯和消费电子产品）等领域，对能够实现机器换人的外观缺陷视觉检测技术需求越来越旺盛。[b]3．典型系统组成[/b]产品外观缺陷机器视觉检测是基于人眼视觉成像与人脑智能判断的原理，采用图像传感技术获取被测对象的信息，通过数字图像处理增强缺陷目标特征，再通过Blob(Binary large object)分析、模板匹配或深度学习等算法从背景图像中提取缺陷特征信息，并进行分类与表征。在工业应用领域，外观缺陷视觉检测系统实际上是一种智能化的数字成像与处理系统，即采用各种成像技术（如光学成像）模拟人眼的视觉成像功能，用计算机处理系统代替人脑执行实时图像处理、特征识别与分类等任务，最后把结果反馈给执行机构，代替人手进行操作，执行产品的分类、分组或分选、生产过程中的质量控制等任务。[align=center][img=image.png]https://img1.17img.cn/17img/images/202401/uepic/c509e9d3-5eca-4ea9-bd0c-a80e2803ce60.jpg[/img][/align][align=center][size=14px][color=#595959]（左）6代线液晶阵列和彩色滤光片缺陷检测仪 （中）8.5代线玻璃基板缺陷检测仪 （右）ITO导电膜表面缺陷检测仪[/color][/size][/align][size=14px][color=#595959][/color][/size][align=center][color=#595959]图 1 高世代液晶面板关键工艺节点缺陷视觉在线检测系统[/color][/align][size=14px][color=#595959][/color][/size][align=center][size=14px][color=#595959][img=图片1.png,600,225]https://img1.17img.cn/17img/images/202401/uepic/e99b0f18-c0ae-488a-955c-65c5a97b577a.jpg[/img][/color][/size][/align][align=center][color=#595959]图 2 表面缺陷视觉在线检测系统组成原理图[/color][/align]图1为我们在国家重大科学仪器设备开发专项的资助下，针对6代线和8.5代线液晶面板显示器制程中关键工艺节点，开发的三种缺陷视觉在线检测系统。该系统能很好地揭示一个视觉在线检测系统的各个组成部分、关键技术难点，以及所需的关键零部件。主要技术参数为：待测幅面大小≤1800x2200mm, 快速发现缺陷分辨率10μm, 复检显微分辨率0.5μm， 并行图像处理与缺陷识别系统采用CPU+FPA+GPU 主从分布式异构并行处理架构，检测时间节拍20s。系统组成与关键零部件单元可用图2示意图来清晰地描述，它由精密传输机构、光源、相机阵列、显微复检、并行处理、控制、主控计算机、服务器等单元模块，以及与工厂数据中心互联的工业局域网组成。图 3 展示了我们开发的手机液晶显示屏背光源模组缺陷转盘式多工位视觉在线检测系统的结构组成，该检测系统包括自动上料、编码、对准、检测、分选、返修识别等几个部分。[align=center][img=image.png]https://img1.17img.cn/17img/images/202401/uepic/b1265c69-0573-4f14-8828-e4c9976ccdcc.jpg[/img][/align][align=center][color=#595959]图 3 背光源模组在线自动光学检测系统[/color][/align][b]3.1 自动上料机构[/b]自动上料机构包括装配线上传输来的背光源模组位姿探测、电动与气动机构抓取、位置校正、送料等部分组成。工作原理如下：1. 在装配线传输带工位（1）的上方放入一个监视相机，当前道工序组装系统装配好背光源模组传输到工位（1）后，监视相机拾取到有待测模组时，计算模组在工位（1）处的位置与模组姿态信息，并发出工作同步指令给后续上料与检测系统。2. 监视相机发出工作同步指令后，气动与电动缸组成的送料系统把工位（1）处的背光源模组从传输带上吸起来，然后在气动滑台的带动下，把工位（1）处的背光源模组搬运到工位（2）处。在放到工位（2）上之前，计算机根据工位（1）上方的相机拍摄到的模组位置与姿态，发出指令给真空抓取吸盘角度校正电缸，初步校正背光源模组在空间的角度。当背光源模组运送到工位（2）后，模组在工位（2）处由4个气动滑缸从四边向中间对中，校正模组的位置，然后背光源模组下方的相机，对模组成像，识别待检背光源模组喷码序列号，作为有缺陷模组在返修过程中，从缺陷数据库中自动调出缺陷信息，指导返修任务。3. 在工位（1）处吸盘抓取背光源模组的同时，右边的吸盘在工位（2）处把已经校正好的模组吸起来，然后在气动滑台的带动下，把校正后的模组输送检测转盘工位（3）处。至此，一个上料循环完成。[b]3.2 检测机构[/b]检测机构由间隙转动工位转盘、上料位置对准探测、异常检测、画面检测和外观检测工位组成。工作原理如下：1. 背光源模组被自动送料机构传输到工位（3）后，转盘在控制系统的控制下，转到工位（4）。在工位（4）的上方安装一个相机，检测背光源模组定位是否正常，模组LED灯工作是否正常，并把信息传给主控计算机。如果一切正常，则后续检测工位按预定的方案进行检测；如果不正常，后续检测对该模组不检测，然后传送到工位（9），由分选机构抓取，传送到不良品传输带上。2. 当模组转到工位（5）~（8）处后，缺陷扫描成像系统对画面缺陷进行扫描检测，缺陷扫描成像系统由高速扫描相机、一维滑动台、光栅、伺服系统、调整机构组成。由于外观检测项目较多，一个工位难以不够，故把工位（7）和（8）两个工位作为外观检测机构。[b]3.3 分选机构[/b]分选机构由良品与不良品气动抓取机构、间隙运动传输带组成。结构布局参看图 3 所示，其工作原理如下：1. 如图 3 所示，画面（外观、异常等）缺陷检测完毕后，模组继续向下道工位转动，当模组运动到工位（9）后：分选机构左边的气动吸盘抓取工位（9）上的模组，传输到工位（11）处。2. 如果该模组是不良品，在分选机构向工位（9）移动的过程中，不良品传输带向前移动一个工位，把工位（11）清空，等待放置下个模组。3. 如果是良品，在下一个时刻分选机构抓取工位（9）上的模组时，右边的吸盘同时抓取工位（11）上的模组，在分选机构左吸盘把模组放到工位（11）处时，右吸盘把良品模组放置到良品传输带上工位（12）处，然后良品传输带向前移动一个工位，清空工位（12）等待放置下个模组。传输带之所以作间隙运动，一方面可以节省空间，另一方面考虑到不良品只是少数，这样可以让不良品按顺序一个一个经凑地排列在传输带上，不需要有人监视，返修人员只要传输带上放满了不良品后取走返修。[b]3.4 复检与不良品返修[/b]对于检测到的不良品，再采用人工目视复检，并对不良品进行返修。在返修工作台上放置一个电脑，并安装一台成像系统，拾取不良品背面的编码。返修显示电脑通过工业以太网与缺陷数据库服务器相连，相机在电脑的控制下，获得带返修的不良品编码后，根据编码从服务器中调用缺陷信息，显示在屏幕上，导引返修人员对不良品进行合理的返修。[来源：仪器信息网] 未经授权不得转载[align=right][/align]