划伤视觉检测

《产品外观缺陷机器视觉在线检测技术及设备开发》一文由合肥工业大学仪器科学与光电工程学院卢荣胜教授投稿分享，包括自序、研究背景、典型系统组成、成像技术及实现策略、关键核心单元部件、缺陷识别与分类、结束语、致谢几个部分。由于篇幅较长分为四篇发布，以下为第一部分：自序、研究背景、典型系统组成。[b]1．自序[/b]本人1985年大学毕业后在量仪厂从事量具、刃具、工装、专机与机加工工艺开发等技术工作，于1992年从师费业泰教授攻读硕士与博士学位，从事精密机械热变形误差、精密仪器精度理论方面研究， 1998年末博士毕业后又拜师天津大学叶声华教授，从事机器视觉在线检测方面的博士后研究，研究方向随之聚焦于机器视觉与光学精密测量领域。之后在香港城市大学、英国帝国理工学院和哈德斯菲尔德大学进行了为期6年的三维机器视觉、自动光学检测和光学测量技术研发工作，于2006年5月返回母校合肥工业大学任教。回国后继续从事机器视觉与光学测量方面的研究，坚持面向平板显示、新能源、软性电路板、半导体等先进制造产业，注重技术的应用开发。先后主持了国家自然科学基金项目3项、863专项1项、国家科技支撑项目1项、国家重大科学仪器设备开发专项1项、国家重点研发课题1项、以及其它省部级项目和产学研合作项目10余项，在机器视觉与光学测量领域已培养硕士和博士研究生100余人。鉴于在机器视觉技术研究及应用开发方面20余年的研究积累，2021年无锡市锡山区政府与我们科研团队合作，联合创立了一个新型科技研发机构——无锡维度机器视觉产业技术研究院，采用实体化运营模式，面向先进制造产业链，从事机器视觉与光学精密测量方面产业共性关键技术研究与产业化开发。研究内容与产业化业务范围涉及机器视觉缺陷在线检测、三维机器视觉精密测量、机器人视觉引导、半导体检测、机器视觉关键零部件开发等。开发的视觉系统与仪器已经在平板显示、光伏、锂电池、软性电路板、半导体等行业得到成功应用。鉴于篇幅问题，本文重点聚焦于产品外观缺陷视觉在线检测技术，归纳了我20多年来在这些方面的科学研究与产业化开发的进展情况与心得体会。[b]2．研究背景[/b]在产品制造过程中，由于生产环境不理想、制造工艺不规范等各种原因，零部件和产品外观难免会含有多种缺陷，如印制电路板上出现孔位、划伤、断路、短路和污染，液晶面板的基板玻璃和滤光片表面含有针孔、划痕、颗粒，带钢表面产生裂纹、辊印、孔洞和麻点，铁路钢轨出现凹坑、鼓包、划痕、擦伤、色斑和锈蚀，等等。这些缺陷不仅影响产品外观，更重要的是影响产品性能，严重时甚至危害生命安全，对用户造成巨大经济损失，因此，现代制造业对产品的表面质量控制非常重视。产品外观缺陷在线检测最传统的方法就是采用人工目视检测法，目前高端制造工厂大部分都采用自动化生产，但人工目视检测岗位仍占据工厂整体人员的15%-30%。鉴于人工目视检测存在对人眼伤害大、主观性强、准确率低、不确定性大、易产生歧义和效率低下等缺点，已很难满足现代工业对产品质量及外观越来越高的严格要求。随着电子技术、图像传感技术和计算机技术的快速发展，利用基于图像传感技术的视觉在线检测方法已逐渐成为外观缺陷检测的重要手段，因为这种方法具有自动化、非接触、速度快、准确度高等优点。目前，外观缺陷视觉在线检测技术已经广泛应用于工业、农业、生物医疗等行业，尤其在现代制造业，如平板显示、光伏、锂电池、半导体、汽车、3C电子（计算机、通讯和消费电子产品）等领域，对能够实现机器换人的外观缺陷视觉检测技术需求越来越旺盛。[b]3．典型系统组成[/b]产品外观缺陷机器视觉检测是基于人眼视觉成像与人脑智能判断的原理，采用图像传感技术获取被测对象的信息，通过数字图像处理增强缺陷目标特征，再通过Blob(Binary large object)分析、模板匹配或深度学习等算法从背景图像中提取缺陷特征信息，并进行分类与表征。在工业应用领域，外观缺陷视觉检测系统实际上是一种智能化的数字成像与处理系统，即采用各种成像技术（如光学成像）模拟人眼的视觉成像功能，用计算机处理系统代替人脑执行实时图像处理、特征识别与分类等任务，最后把结果反馈给执行机构，代替人手进行操作，执行产品的分类、分组或分选、生产过程中的质量控制等任务。[align=center][img=image.png]https://img1.17img.cn/17img/images/202401/uepic/c509e9d3-5eca-4ea9-bd0c-a80e2803ce60.jpg[/img][/align][align=center][size=14px][color=#595959]（左）6代线液晶阵列和彩色滤光片缺陷检测仪 （中）8.5代线玻璃基板缺陷检测仪 （右）ITO导电膜表面缺陷检测仪[/color][/size][/align][size=14px][color=#595959][/color][/size][align=center][color=#595959]图 1 高世代液晶面板关键工艺节点缺陷视觉在线检测系统[/color][/align][size=14px][color=#595959][/color][/size][align=center][size=14px][color=#595959][img=图片1.png,600,225]https://img1.17img.cn/17img/images/202401/uepic/e99b0f18-c0ae-488a-955c-65c5a97b577a.jpg[/img][/color][/size][/align][align=center][color=#595959]图 2 表面缺陷视觉在线检测系统组成原理图[/color][/align]图1为我们在国家重大科学仪器设备开发专项的资助下，针对6代线和8.5代线液晶面板显示器制程中关键工艺节点，开发的三种缺陷视觉在线检测系统。该系统能很好地揭示一个视觉在线检测系统的各个组成部分、关键技术难点，以及所需的关键零部件。主要技术参数为：待测幅面大小≤1800x2200mm, 快速发现缺陷分辨率10μm, 复检显微分辨率0.5μm， 并行图像处理与缺陷识别系统采用CPU+FPA+GPU 主从分布式异构并行处理架构，检测时间节拍20s。系统组成与关键零部件单元可用图2示意图来清晰地描述，它由精密传输机构、光源、相机阵列、显微复检、并行处理、控制、主控计算机、服务器等单元模块，以及与工厂数据中心互联的工业局域网组成。图 3 展示了我们开发的手机液晶显示屏背光源模组缺陷转盘式多工位视觉在线检测系统的结构组成，该检测系统包括自动上料、编码、对准、检测、分选、返修识别等几个部分。[align=center][img=image.png]https://img1.17img.cn/17img/images/202401/uepic/b1265c69-0573-4f14-8828-e4c9976ccdcc.jpg[/img][/align][align=center][color=#595959]图 3 背光源模组在线自动光学检测系统[/color][/align][b]3.1 自动上料机构[/b]自动上料机构包括装配线上传输来的背光源模组位姿探测、电动与气动机构抓取、位置校正、送料等部分组成。工作原理如下：1. 在装配线传输带工位（1）的上方放入一个监视相机，当前道工序组装系统装配好背光源模组传输到工位（1）后，监视相机拾取到有待测模组时，计算模组在工位（1）处的位置与模组姿态信息，并发出工作同步指令给后续上料与检测系统。2. 监视相机发出工作同步指令后，气动与电动缸组成的送料系统把工位（1）处的背光源模组从传输带上吸起来，然后在气动滑台的带动下，把工位（1）处的背光源模组搬运到工位（2）处。在放到工位（2）上之前，计算机根据工位（1）上方的相机拍摄到的模组位置与姿态，发出指令给真空抓取吸盘角度校正电缸，初步校正背光源模组在空间的角度。当背光源模组运送到工位（2）后，模组在工位（2）处由4个气动滑缸从四边向中间对中，校正模组的位置，然后背光源模组下方的相机，对模组成像，识别待检背光源模组喷码序列号，作为有缺陷模组在返修过程中，从缺陷数据库中自动调出缺陷信息，指导返修任务。3. 在工位（1）处吸盘抓取背光源模组的同时，右边的吸盘在工位（2）处把已经校正好的模组吸起来，然后在气动滑台的带动下，把校正后的模组输送检测转盘工位（3）处。至此，一个上料循环完成。[b]3.2 检测机构[/b]检测机构由间隙转动工位转盘、上料位置对准探测、异常检测、画面检测和外观检测工位组成。工作原理如下：1. 背光源模组被自动送料机构传输到工位（3）后，转盘在控制系统的控制下，转到工位（4）。在工位（4）的上方安装一个相机，检测背光源模组定位是否正常，模组LED灯工作是否正常，并把信息传给主控计算机。如果一切正常，则后续检测工位按预定的方案进行检测；如果不正常，后续检测对该模组不检测，然后传送到工位（9），由分选机构抓取，传送到不良品传输带上。2. 当模组转到工位（5）~（8）处后，缺陷扫描成像系统对画面缺陷进行扫描检测，缺陷扫描成像系统由高速扫描相机、一维滑动台、光栅、伺服系统、调整机构组成。由于外观检测项目较多，一个工位难以不够，故把工位（7）和（8）两个工位作为外观检测机构。[b]3.3 分选机构[/b]分选机构由良品与不良品气动抓取机构、间隙运动传输带组成。结构布局参看图 3 所示，其工作原理如下：1. 如图 3 所示，画面（外观、异常等）缺陷检测完毕后，模组继续向下道工位转动，当模组运动到工位（9）后：分选机构左边的气动吸盘抓取工位（9）上的模组，传输到工位（11）处。2. 如果该模组是不良品，在分选机构向工位（9）移动的过程中，不良品传输带向前移动一个工位，把工位（11）清空，等待放置下个模组。3. 如果是良品，在下一个时刻分选机构抓取工位（9）上的模组时，右边的吸盘同时抓取工位（11）上的模组，在分选机构左吸盘把模组放到工位（11）处时，右吸盘把良品模组放置到良品传输带上工位（12）处，然后良品传输带向前移动一个工位，清空工位（12）等待放置下个模组。传输带之所以作间隙运动，一方面可以节省空间，另一方面考虑到不良品只是少数，这样可以让不良品按顺序一个一个经凑地排列在传输带上，不需要有人监视，返修人员只要传输带上放满了不良品后取走返修。[b]3.4 复检与不良品返修[/b]对于检测到的不良品，再采用人工目视复检，并对不良品进行返修。在返修工作台上放置一个电脑，并安装一台成像系统，拾取不良品背面的编码。返修显示电脑通过工业以太网与缺陷数据库服务器相连，相机在电脑的控制下，获得带返修的不良品编码后，根据编码从服务器中调用缺陷信息，显示在屏幕上，导引返修人员对不良品进行合理的返修。[来源：仪器信息网] 未经授权不得转载[align=right][/align]

1 　机器视觉的研究内容　　人们从外界环境获取的信息中,80 %来自于视觉,其它来自于触觉、听觉、嗅觉等感觉器官。当人们的眼睛从自己周围的环境获取大量信息,并传入大脑后,由大脑根据知识或经验对信息进行加工、推理等处理工作,最后识别、理解周围环境,包括环境内的对象物,如运动物体与物体间的相对位置、形状、大小、颜色、纹理、运动还是静止等。机器视觉就是用计算机模拟人眼的视觉功能,从图像或图像序列中提取信息,对客观世界的三维景物和物体进行形态和运动识别。机器视觉研究的基本目的之一就是要寻找人类视觉规律,从而开发出从图像输入到自然景物分析的图像理解系统。对于机器视觉系统来说,输入是表示三维景物投影的灰度阵列(可以有若干个输入阵列) ,这些阵列可提供从不同方向、不同视角、不同时刻得到的信息。希望的输出是对图像所代表景物的符号描述。通常这些描述是关于物体的类别和物体间的关系,但也可能包括如表面空间结构、表面物理特性(形状、纹理、颜色、材料) 、阴影以及光源位置等信息。目前许多机器视觉专家都是在马尔(Marr) 创立的视觉计算理论框架下求索。2 　机器视觉与人类视觉的差异　　对于人的视觉来说,由于人的大脑和神经的高度发展,其目标识别能力很强。但是,人的视觉也同样存在障碍,例如,即使具有一双敏锐视觉和极为高度发达头脑的人,一旦置于某种特殊环境(即使曾经具备一定的检验知识) ,其目标识别能力也会急剧下降。事实上人们在这种环境下,面对简单物体时,仍然可以有效而简便地识别,而在这种情况下面对复杂目标或特殊背景时,才会在视觉功能上发生障碍,两者共同的结果是导致目标识别的有效性和可靠性的大幅度下降。将人的视觉引入机器视觉中,机器视觉也存在着这样的障碍。它主要表现在3 个方面:1) 如何准确、高速(实时) 地识别出目标;2) 如何有效地增大存储容量,以便容纳足够细节的目标图像;3) 如何有效地构造和组织出可靠的识别算法,并且顺利地实现。前两者相当于人的大脑这样的物质基础,这期待着高速的阵列处理单元以及算法(如神经网络 、分维算法 、小波变换 等算法) 的新突破,用极少的计算量以及高度地并行性实现功能。3 　机器视觉检测中几种基本技术311 　训练系统先将参考织物或图片的图像输入微机图像处理系统,选择并计算可表示图像特征的参数,以确定疵点或图形的分类指标,如灰度级,疵点或图形的面积,疵点在经纬向尺寸、形态等,是系统获得这些指标的标准。然后将所测试的织物输入,计算其各点灰度值及一些需比较的特征参数与标准比较,确定疵点或图形分类。312 　样板匹配求得某一图像哪一部分对应另一图像的哪一部分是或比较2 幅图像的相似度时,采用样板样匹配的方法。一般将样板t ( x , y) ,令其中心与图像的一点( i , j) 重合,逐点检测,找出差距小于阈值的部位,定位相同或相似的,大于阈值的部位,定为不同或不相似的点。313 　二值化处理为将图形与背景分离,根据灰度值确定一定灰度域值。将灰度值大于此域的点置为1 ,小于此域值的点为0。使图像变为黑白二值图像,便于图形特征测量和结构分析描述。314 　腐蚀和膨胀腐蚀可使轮廓边界收缩,膨胀可使轮廓边界膨胀,腐蚀和膨胀的不同组合,不同处理次数,可以得到不同的图形效果,如使图像中的小孔使之检测出来或使之消除。315 　细线化对给定的图形使之细化,从而提取线宽为1 的中心线的操作。在细线化中,不改变原图的连接性,使图形骨架轮廓结构清晰,便于计算,不会因边界上的小凹凸而产生毛刺。在计算非织造布纤维取向度是用此法处理。316 　纹理分析在分析绉组织的绉效果或羊绒的鳞片结构时,须用纹理分析的方法。纹理分析内容包括:纹理特征的计算(如直方图特征、灰度共生矩阵、傅立叶特征) 微粒区域的分割与纹理边缘的检测。 “具体可以解决的问题如： 1，纺织布料识别与质量评定、　　2，织物表面绒毛鉴定、　　3，织物的反射特性、　　4，合成纱线横截面分析、　　5，纱线结构分析等。　　6，此外还可用于织物组织设计、花型纹板、棉粒检测、分析纱线表面摩擦等。