当前位置: 仪器信息网 > 行业主题 > >

视觉系统

仪器信息网视觉系统专题为您提供2024年最新视觉系统价格报价、厂家品牌的相关信息, 包括视觉系统参数、型号等,不管是国产,还是进口品牌的视觉系统您都可以在这里找到。 除此之外,仪器信息网还免费为您整合视觉系统相关的耗材配件、试剂标物,还有视觉系统相关的最新资讯、资料,以及视觉系统相关的解决方案。

视觉系统相关的资讯

  • 西光所高分辨率X射线像增强器视觉系统研制成功
    5月16日,由中科院西安光学精密机械研究所与该所投资企业西安中科麦特电子技术设备有限公司共同承担完成的“高分辨率X射线像增强器视觉系统”通过了成果鉴定。高分辨率X射线像增强器视觉系统是一项具有自主知识产权、设计先进、操作简便、使用安全的工业X射线检测系统,它可广泛应用于电子工业生产装配中出现的短路、开路、冷焊和焊点空洞等质量问题,适用于BGA、CSP、Flip Chip 集成电路内部以及多层电路板的质量检测,亦可用于其他领域的X射线检测。高分辨率X射线像增强器视觉系统采用密封型微焦斑X光管,无需抽真空,可以轻易穿透带散热片的芯片,并且实现了大视场浏览和局部细节观测两种检测需求的快速切换,提升了检测效率。同时采用自主研发的高分辨率X射线增强器图像及专用的图像处理软件使得图像更加清晰。该系统所有操作可通过计算机独立完成,高稳定性的运动平台可在X、Y、Z方向大行程运动,倾斜检测模式可使用户更为准确地实施产品质量的检测。专家认为,高分辨率X射线像增强器视觉系统设计先进、综合技术处于国内领先水平,具有广阔的应用前景和较好的经济效益,并建议进一步加强对系统的产业化开发,以拓展产品在更多领域的应用。
  • "乘风破浪"的橡皮糖 | 视觉检测系统为淀粉制模产线保驾护航
    说到最近大火的"乘风破浪",用来形容淀粉制模生产线再合适不过了。在橡皮糖淀粉托盘的生产过程中,塌陷、冻胶、淀粉不足等任何一点纰漏都会造成橡皮糖制糖的失败,即"残次品”。尤其在一个接一个淀粉托盘往复的产线上,残次糖果的数量将大幅快速增加。几十年来,业内公认的高残次品率让橡皮糖制造商无可奈何,却又不得不默认"接受"。但现在,工业物理旗下Eagle Vision全新粉模托盘视觉检测系统,能为"乘风破浪"的橡皮糖生产线"保驾护航"。多达5%的残次品?!在淀粉模塑工业中,制造商通过用液体冻胶填充一次性淀粉模具,来生产糖果及果冻。其步骤大致如下:1. 托盘中装有(玉米)淀粉。2. 通过印模或模板,将产品的形状印入充满淀粉的托盘中。3. 液体冻胶被注入到成型的模具中。4. 托盘被堆叠,并运到固化室进行干燥。5. 固化后,将产品脱模并离开成型线,以进行最终处理,托盘返回步骤1在淀粉成型行业中,最多有5%的最终产品被拒收并视为残次品。几十年来,这一高比例已被制造商所“接受”,大量的残次品和额外的体力劳动也被视为“正常现象”。但现在,Eagle Vision自豪地宣布,通过我们成熟的“粉模托盘视觉系统”检测方案,我们可以将这一数字降至1%以下。残次品百分比降低如此之多,无疑将大大降低成本,提高质量和机器性能,并总体上提高客户满意度。既存问题: 脏淀粉托盘让我们首先更详细地分析问题。为什么这么多产品被视为残次品?——首先在淀粉托盘的生产过程中,许多事情就可能会出纰漏:• 加料站中的淀粉量不足,无法生产淀粉托盘。• 模板或印模脏,上面粘着一块冻胶,形成了不好印模效果。• 模板上缺少模具。• 由于产线的突然移动,淀粉壁塌陷。• 首要问题:托盘脏,以前的生产运行中残留了一些冻胶。由于淀粉制模生产线中使用的托盘数量众多,残次品数量将快速增加。据统计:有的淀粉成型线中可高达12000个托盘。经验告诉我们,大约5%的托盘存在上述问题。这意味着每天最多可增加600个“残次托盘”。其中,脏托盘尤其是造成诸多问题的原因。一段时间后,产线上有太多脏托盘,不得不停产。脏托盘需要进行如下操作来恢复使用:取出、清空、清洁、重新填装并放回产线,一个脏托盘所需的劳动时间为6分钟,这相当于60个小时的惊人工作量。解决方案: 托盘检测系统Eagle Vision全新“粉模托盘模具视觉系统”是一种独特的创新解决方案,可防止不良印模和脏淀粉托盘。脏粉模托盘视觉系统,简称DTV,在填充淀粉后(注入液体冻胶前)立即检查每个托盘。托盘是否有缺陷?淀粉填充是否不完全?若托盘粉模存在问题,托盘将留在产线中,但不会填充冻胶,因此托盘不会被硬化的冻胶污染。通过防止托盘变脏,从而仅使用干净的粉模托盘进行生产,我们发现残次品率从5%下降到小于1%。用一条淀粉模制生产线中的12000个托盘再次计算,脏托盘的数量减少到只有120个。这些托盘需要从生产线上卸下,以保持所需的质量和数量水平。可以在Mogul上安装选配的“弹出器系统”,以自动从生产线上移走这些被拒收的托盘。使用DTV系统的优势?经过一年在大型生产线上的密集测试后,Eagle Vision脏粉模托盘视觉系统已成功在大型生产线上投产。德国,比利时,荷兰,美国和墨西哥的多家知名“A”类品牌公司都已在使用DTV系统:1. DTV大大减少了残次品的产生量,从高达7.5%降低到1%。2. DTV提高了最终产品的质量:DTV可以像机器操作员那样以一周七天全天候24小时工作,而不会受专注力影响。现在这些操作员可以完全专注于优化机器的性能或进行机器和堆栈的维护。3. DTV减少了产线中断的次数:产线中断、返工甚至二度返工的数量大大减少。4. DTV减少了客户的抱怨:最终产品中不掺杂模具碎片。5. DTV减少了体力劳动:无需再在机器后部安排操作员从肮脏的托盘上切下变硬的冻胶。6. DTV协助管理:通常,管理人员很难发现生产运行中发生了什么。DTV向管理人员提供有关未填充的托盘的所有信息,它显示:确切的生产中断时间、已检查的托盘数量、未填充的托盘数量及原因。它具有VPN连接功能,因此可以在需要时进行远程监视。7. DTV节省成本:投资回收期只有3到9个月,根据客户的计算方式有所不同;但是,但凡DTV阻止了一次生产中断,您就已经收回了大部分投资。Eagle Vision全新DTV粉模托盘视觉检测系统拥有全自动、高精度的特点,适用于所有橡皮糖淀粉成型线,为“乘风破浪”的生产线实时监控,保驾护航。如果您对样本文档或设备演示有兴趣,欢迎联系工业物理,我们将竭诚为您安排:)点击此处,跳转Egale Vision品牌页面。
  • 2023拥抱AI视觉时代:机器视觉的机会与挑战
    机器视觉与AI的机会近年来,传统科技公司和新创公司竞相将机器视觉与人工智能/机器学习结合,使其能够超越传感器像素数据,从而在各种应用中开创新的机会。这一结合的潜力巨大,相关的新创公司在交通运输、制造业、医疗保健和零售等各个市场中筹集了数十亿美元的资金。然而,要充分实现其潜力,这项技术需要应对许多挑战,包括提高性能和安全性,以及设计灵活性。从根本上讲,机器视觉系统是软件和硬件的结合,可以以数字像素的形式捕捉和处理信息。这些系统可以分析图像,并根据其编程和训练来采取相应的行动。典型的视觉系统包括图像传感器(摄像头和镜头)、图像和视觉处理组件(视觉算法)以及SoCs(片上系统)和网络/通信组件。无论是静态图像还是视频数字相机,都包含图像传感器。汽车感测器(如激光雷达、雷达、超声波)也能以数字像素形式提供图像,尽管分辨率可能不同。尽管大多数人对这些类型的图像都很熟悉,但机器也能够“看见”热和音频信号数据,并分析这些数据以创建多维图像。Synopsys公司的战略市场经理Ron Lowman表示:“在过去几年中,CMOS图像传感器取得了显著的改进。传感器的带宽不再优化用于人类视觉,而是用于提供人工智能的价值。例如,主导视觉传感器接口的MIPI CSI不仅提高了带宽,还增加了智能ROI(Region of Interest)和更高的颜色深度等人工智能功能。虽然这些颜色深度增加对人眼来说无法察觉,但对于机器视觉来说,它可以大大提高服务的价值。”机器视觉系统的基本组成机器视觉系统由软件和硬件组成,其中关键的组件是图像传感器。在过去几年中,CMOS图像传感器取得了显著的改进,这使得传感器的带宽不再仅仅优化于人类视觉,而是为了提供人工智能的价值。MIPI CSI作为主要的视觉传感器接口,不仅增加了带宽,还增加了智能ROI(Smart Region of Interest)和更高的颜色深度等人工智能功能。虽然这些颜色深度的增加对人眼而言无法察觉,但对于机器视觉来说,它可以大大提高服务的价值。除了图像传感器外,机器视觉系统还包括图像和视觉处理组件以及片上系统和网络/通信组件。这些组件协同工作,使机器能够理解和解释图像数据。图像和视觉处理组件包括视觉算法,它们能够分析图像并根据其训练和编程进行相应的处理。此外,片上系统和网络/通信组件则负责数据处理和传输,以实现机器视觉系统的功能。图 1:机器视觉系统包括用于执行图像处理和分析的硬件、软件和芯片。 AI 通常是解决方案的一部分,并且 MV 通常连接到云。 来源:Arcturus 网络机器视觉与计算机视觉的区别机器视觉是计算机视觉的一个子集,两者在很大程度上依赖于对图像数据的观察来推断信息。然而,机器视觉更加强调在工业或工厂环境中的“检测类型”应用。Cadence公司的Tensilica Vision and AI DSPs的产品管理、市场营销和业务拓展总监Amol Borkar指出,机器视觉在感测方面高度依赖摄像头。然而,“摄像头”这个词是个负面词,因为我们通常熟悉的是一个能够产生RGB图像并在可见光谱范围内运作的图像传感器。不过,根据应用的不同,这些传感器可以在红外线下运作,包括短波、中波、长波红外线或热成像等多种变体。最近还引入了对运动非常敏感的事件相机。在装配线上,线扫描相机是与典型的快门相机略有不同的一种变体。当前的汽车、监控和医疗等大多数应用都依赖于这些传感器中的一个或多个,通常结合使用以实现比单个摄像头或传感器更好的感测融合结果。机器视觉的优势机器视觉相较于人类有着更出色的视觉能力,这使得机器视觉在制造业中能够提高生产力和品质,降低生产成本。与自动驾驶辅助系统(ADAS)结合使用时,机器视觉能够接管部分驾驶功能。此外,搭配人工智能,机器视觉能够协助分析医学影像。应用机器视觉的好处包括更高的可靠性和一致性,以及更大的精确度和准确度(取决于摄像头的分辨率)。而且,与人类不同,机器在获得例行维护的前提下不会感到疲劳。视觉系统的数据可以在本地或云端存储,需要时进行实时分析。此外,机器视觉通过检测和筛选出有缺陷的零件,降低生产成本。同时,通过OCR(光学字符识别)和条码扫描读取,提高了库存控制的效率,从而降低整体制造成本。如今,机器视觉通常与人工智能结合使用,大大增强了数据分析的能力。在现代工厂中,自动化设备,包括机器人,与机器视觉和人工智能结合,以提高生产力。机器视觉(MV)和人工智能(AI)是密切相关的领域,它们通常以各种方式进行交互。机器视觉利用摄像头、传感器和其他设备捕捉图像或其他附加数据,然后将其进行处理和分析,以提取有用的信息,而人工智能则使用算法和统计模型来识别模式并基于大量数据进行预测。AI/ML与MV的交互作用这还可以包括深度学习技术。Arteris IP公司的产品市场副总裁Andy Nightingale表示:“深度学习是人工智能的一个子集,它涉及使用大量数据对复杂的神经网络进行训练,以识别模式并进行预测。”机器视觉系统可以使用深度学习算法来提高其在图像或视频中检测和分类对象的能力。机器视觉和人工智能之间的另一种交互方式是通过使用计算机视觉算法。计算机视觉是机器视觉的一个超集,它使用算法和技术从图像和视频中提取信息。人工智能算法可以分析这些信息并预测场景中正在发生的事情。例如,计算机视觉系统可以使用人工智能算法分析交通模式并预测何时某个十字路口可能会拥堵。机器视觉和人工智能还可以在自主系统(如自动驾驶汽车或无人机)中进行交互。在这些应用中,机器视觉系统用于捕捉和处理来自传感器的数据,而人工智能算法则解释这些数据并对环境进行导航等决策。AI/ML在自动驾驶中的应用人工智能在现代车辆中扮演着越来越多的角色,但其中两个主要的角色是感知和决策制定。Siemens Digital Industries Software公司的混合和虚拟系统副总裁David Fritz表示:“感知是通过车辆内部和外部的感测器阵列来理解周围环境的过程。决策制定首先需要理解周围环境的状态和目标,例如向目的地移动。然后,人工智能根据控制方向盘、制动、加速等车辆内部致动器的方式来决定最安全、最有效的路线。”这两个关键角色涉及到非常不同的问题。从摄像头或其他感测器获得的原始数据,AI算法将使用这些数据进行目标检测。一旦检测到目标,感知系统将对目标进行分类,例如该目标是否是汽车、人或动物。训练过程非常冗长,需要大量的训练集来展示不同角度的目标。在训练完成后,AI网络可以加载到数字孪生体或实体车辆中。一旦检测到并分类了目标,另一个训练有素的AI网络可以进行决策,控制方向盘、制动和加速等。使用高保真度的数字孪生体来虚拟验证这个过程已被证明比纯粹使用实地测试更安全、更有效。开发人员经常问到需要多少AI/ML。在现代工厂的情况下,机器视觉可以仅用于在装配线上检测和筛选出有缺陷的零件,或者用于组装汽车等工序。后者需要更高级的智能和更复杂的设计,以确保装配过程中的时机、精确度、运动和距离的计算等。Flex Logix公司的首席执行官Geoff Tate观察到:“机器视觉和机器人在现代工厂中提高了生产力,许多应用中使用了人工智能。一个简单的应用,例如检测标签是否正确贴上,不需要太多智能。另一方面,进行复杂、精密的三维运动的机器人手臂需要更多的GPU算力。在第一个应用中,一个AI IP的核心将足够,而在第二个应用中可能需要多个核心。拥有灵活且可扩展的AI IP将使机器视觉和机器人的设计更加容易。机器视觉的应用机器视觉的应用几乎没有限制,只受想象力的限制。只要需要视觉和图像处理的工业和商业领域,机器视觉都可以应用其中。以下是部分应用领域的例子:交通领域(自动驾驶、车内监控、交通流量分析、违规行为和事故检测);制造和自动化领域(生产力分析、质量管理);监控领域(运动和入侵检测);医疗领域(影像学、癌症和肿瘤检测、细胞分类);农业领域(农场自动化、植物病害和昆虫检测);零售领域(顾客追踪、货架缺货检测、盗窃检测);保险领域(通过图像进行事故现场分析)。还有许多其他应用。以饮用水或软饮料瓶装为例。机器视觉系统可以用于检查填充水平,这通常由高效的机器人完成。但是机器人偶尔会犯错。机器视觉可以确保填充水平一致,并确保标签正确贴上。检测任何偏离测量规范限制的机器零部件也是机器视觉的一项工作。一旦机器视觉根据规范进行了训练,它可以检测出超出规范限制的零部件。机器视觉可以检测均匀的形状,如正方形或圆形,以及奇形怪状的零部件,因此它可以用于识别、检测、测量、计数,并与机器人一起进行抓取和放置。最后,通过结合人工智能,机器视觉可以实现轮胎组装的精确和高效。如今,原始设备制造商(OEM)使用机器人自动化车辆组装的过程之一是安装四个轮胎。利用机器视觉,机器人手臂可以检测正确的距离,并施加适当的压力,以防止任何损坏的发生。机器视觉的类型机器视觉技术根据处理的图像维度可以分为一维(1D)、二维(2D)和三维(3D)。这些不同的类型在应用中具有各自的特点和优势。一维机器视觉系统主要用于条形码和二维码的识别和读取。它们通常使用扫描设备,按行扫描产品上的条形码或二维码,并从中提取信息。这种技术被广泛应用于零售行业、物流和运输领域,以实现快速且准确的产品识别和追踪。二维机器视觉系统可以用于更复杂的图像处理任务。它们使用摄像头逐行扫描物体,形成一个区域或二维图像。这种技术可以应用于图像分类、目标检测、人脸识别等各种任务。在工业自动化中,二维机器视觉系统可以用于检测和验证产品的外观特征,确保产品符合设计和质量要求。三维机器视觉系统通常使用多个摄像头或激光传感器来捕捉物体的三维形状和结构。这种技术可以实现对物体的精确定位和测量,对于需要进行三维分析和处理的应用非常重要。例如,在机器人导航和自动化领域,三维机器视觉系统可以用于对环境进行三维建模和障碍物检测,实现更精确和安全的运动控制。除了以上提到的类型,还有其他形式的机器视觉技术,如超光谱影像和热像仪等。超光谱影像可以捕捉物体的不同光谱特征,拥有更丰富的信息,广泛应用于农业、食品安全和医疗诊断等领域。热像仪则可以检测物体的热能分布,用于温度监测、火灾检测等应用。每种机器视觉类型都有其特定的应用场景和优势。根据不同的需求,选择适合的机器视觉类型可以提高系统的性能和效果,实现更准确、高效和可靠的图像处理和分析。MV设计的挑战训练机器视觉系统仍然存在一些挑战。MV的准确性和性能取决于其训练程度,因此需要大量的标注数据和强大的计算能力。MV设计所面临的挑战包括:首先,检测的范围可能涵盖方位、表面变化、污染程度以及直径、厚度和间隙等精度容限。当检测到化妆品和服务变化效应时,3D系统通常比1D或2D系统表现更好。然而,在遇到不寻常的情况时,人类可以借助其他领域的知识,而机器视觉和人工智能可能无法具备这种能力。其次,数据流管理和控制是当今的关键挑战之一,特别是在具有实时延迟要求(例如汽车应用)的情况下,同时需要保持带宽的最小化。在基于摄像头的系统中,图像质量(IQ)至关重要。这要求硬件设计支持超宽动态范围和局部色调映射,同时还需要进行IQ调整,传统上需要由人类专家进行主观评估,使得开发过程冗长且成本高昂。然而,对于机器视觉而言,这种专业知识可能不一定能获得最佳系统性能,因为感知引擎可能会根据任务的不同而更喜欢以不同于人类和其他机器之间的方式看待图像。此外,确保机器视觉的安全性也是一个重要问题。随着网络攻击不断增加,确保产能不受干扰或遭受来自威胁行为者的干扰至关重要。尤其在关键应用中,如自动驾驶等,保证机器视觉的安全性至关重要。"安全对于确保机器视觉技术的输出不受破坏至关重要," Arm的Zyazin表示。"汽车应用是展示硬件和软件安全性重要性的一个很好的例子。例如,从机器中处理和提取的信息会影响到制动或车道保持辅助等决策,如果处理不当,可能对车辆内部的乘客构成风险。"总结来说,训练机器视觉系统的过程面临着一些挑战。为了提高准确性和性能,需要丰富的标注数据和强大的计算能力。同时,确保机器视觉的安全性也是一个重要问题,特别是在关键应用如自动驾驶中。这些挑战需要在系统设计和实施中得到充分考虑,以实现可靠和高效的机器视觉应用。新兴的MV创业公司和创新新兴的机器视觉(MV)创业公司和创新技术正推动着机器视觉的应用和发展。像是Airobotics、Arcturus Networks、Deep Vision AI、Hawk-Eye Innovations、Instrumental、lending AI、kinara、Mech-Mind、Megvii、NAUTO、SenseTime、Tractable、ViSenze、Viso等公司,正在开发新的机器视觉解决方案,其中一些已成功筹集了超过10亿美元的资金。在运输领域,保险公司可以利用机器视觉来分析事故场景的照片和视频,进行财务损害评估。基于人工智能的机器视觉还可以用于安全平台,分析驾驶行为,提升道路安全性。在软件领域,创业公司正在开发无需编程知识的计算机视觉平台,使更多人能够使用机器视觉技术。机器视觉身份验证软件也是市场上的一个创新解决方案。体育产业也在探索人工智能、视觉和数据分析的潜力,以向教练提供有关选手在比赛中的决策过程的洞察。此外,有一家创业公司通过将人工智能和机器视觉结合到无人机设计中,提出了一种节省成本的监视方案。机器视觉和人工智能都在快速发展,其性能,包括准确度和精确度,不断提高。高性能GPU和机器学习能力的成本也有望降低,推动新的机器视觉应用的应用。Arteris公司的Nightingale表示,随着硬件(如传感器、摄像头和处理器)的进步以及算法和机器学习模型的改进,机器视觉系统的准确性和速度将得到进一步提高。深度学习算法尤其在近年来推动机器视觉技术的进步方面发挥了重要作用,并有望在未来扮演更重要的角色。这些算法能够自动学习数据的特征和模式,从而提高准确性和性能。机器视觉系统将具有更强大的能力,能够快速而准确地处理和分析大量的数据,从而开展更为复杂和智能的应用。此外,预计机器视觉和人工智能将与其他技术相结合,提供更多高性能、实时的应用。Nightingale指出,机器视觉技术已经与机器人技术和自动化等其他技术整合,这一趋势有望持续发展,我们可能会看到更多机器视觉在医疗保健、交通和安全等领域的应用。此外,对于需要实时处理的应用,机器视觉技术已经被广泛应用,例如人脸识别和物体追踪。未来,我们可能会看到更多需要实时处理的应用,例如自动驾驶汽车和无人机。结论机器视觉(MV)的设计涉及芯片(处理器、存储器、安全芯片)、IP核、模块、固件、硬件和软件的结合。芯片组件和多芯片封装的推出将使这些系统能够更容易、更快速地进行组合,添加新功能,提高系统的整体效率和能力。Winbond的DRAM经理Tetsu Ho表示:“已知良好晶片(KGD)解决方案可以提供成本和空间效率高于有限接触点和线材的封装产品的替代方案。”这有助于提高设计效率,提供增强的硬件安全性能,特别是产品上市的时间。这些晶片经过100%热激测试,测试程度与离散部件相同。需要KGD 2.0来确保2.5D/3D组件和2.5D/3D多芯片设备的末端良率,以实现带宽性能、功耗效率和面积等PPA的改进,这是由边缘计算和人工智能等技术爆炸所推动的迷你化趋势。这将为机器视觉在新旧市场中开拓新的选择。它将用于在自动驾驶中协助人类,帮助机器在制造业中实现精确高效,并通过无人机进行监控。此外,机器视觉将能够探索对人类而言危险的地方,并为保险、体育、交通、国防、医疗等众多领域提供数据输入和分析。随着技术的不断发展和应用的扩大,机器视觉将继续成为推动自动化、智能化和数字化革新的关键技术之一。机器视觉系统的进一步提升和创新将为我们的生活和工作带来更多的便利和效益。无论是在工业生产、医疗保健、交通运输还是其他领域,机器视觉的应用都将继续拓展,为未来的科技发展带来更多的可能性。
  • 一文掌握机器视觉技术及行业市场现状
    机器视觉的概念内涵与系统特性机器视觉的本质是为机器植入“眼睛”和“大脑”。为机器植入眼睛,代表着机器视觉利用环境和物体对光的反射来获取及感知信息;为机器植入大脑,意味着机器视觉需要对信息进行智能处理与分析,并应用分析得到的结果来执行相应的活动。机器视觉行业的上游包括相机、镜头、光源等硬件及算法软件。相机是包含完整的机器视觉组成功能模块(光源可自带或借用外部光源),能独立完成机器视觉信息处理的全流程,为系统输出有效信息;镜头是机器视觉图像采集部分重要的成像部件,其作用是把被摄物体成像于摄像机内的感光元件上;光源对于机器视觉中的图像采集部分具有重要影响,为场景提供合适的照明,突出目标的图像特征并与背景图像分离;机器视觉算法与软件紧密结合,软件平台是实现机器视觉算法的载体,使机器视觉在处理数据量和实时检测效率性能上不断地突破,匹配工业智能发展的需求。机器视觉行业的算法库由OpenCV等开源视觉算法库,和Vision Pro(美国康耐视公司)、Halcon(德国MVTec公司)、VisionWare(凌云光)等第三方商业付费算法库组成。因算法库开发周期长、投入大,业内公司通常基于开源算法库开发自身应用算法,或自主开发与第三方集成并举,较少公司完全自主开发底层算法。为提高效率与降低成本,集成第三方成熟工具包作为辅助开发手段是比较常见的方式。机器视觉行业的中游为视觉系统与智能装备。视觉系统包含独立完整的成像单元(光源、镜头、相机)和相应的算法软件,集图像采集、处理与通信功能于一身,可以灵活的进行配置和控制,适应各种复杂的应用,具有多功能、模块化、高可靠性等特点。智能装备以机器视觉的感知能力和分析决策能力为核心,在视觉系统的基础上加入了自动化和智能化的功能,将设计、生产、检测过程集成闭环,可实现多种功能。机器视觉行业的下游为各行业集成应用和服务。下游应用行业的发展决定了机器视觉装备及服务的市场需求量,目前下游应用领域以电子制造为主,其次为汽车、医药、印刷包装等领域。下游产业丰富多样,集成服务更加有的放矢,面向应用市场才 能更加蓬勃。全球机器视觉市场情况机器视觉市场包括视觉器件、可配置视觉系统和智能视觉装备三个细分市场。根据某调研机构统计,2015年至2020年,全球机器视觉器件市场以13.83%的复合增长率增长,市场规模至2020年达到107亿美元;2021年至2025年,全球机器视觉器件市场规模将以6.56%的复合增长率增长,至2025年市场规模将达147亿美元。可配置视觉系统与智能视觉装备具备较强的行业属性,归属于各下游应用行业的装备市场,以机器视觉技术赋能于制造装备的智能化,因此暂时没有单独的市场规模数据。资料来源:某调研机构机器视觉以视觉器件、可配置视觉系统和智能视觉装备等形态服务各产业应用,已经被广泛应用于新型显示、消费电子、印刷包装、新能源等众多行业,成为这些行业必不可少的数字化和智能化变革的支撑。中国机器视觉市场情况中国市场已成为全球机器视觉市场规模增长最快的市场之一。根据中国机器视觉产业联盟的统计,中国机器视觉行业的销售额从2018年的101.80亿元增长至2020年的144.20亿元,复合增长率达19.02%。得益于宏观经济回暖、新基建投资增加、数据中心建设加速、制造业自动化推进等因素,预计2020年至2023年,中国机器视觉行业的销售额将以27.15%的复合增长率增长,至2023年销售额将达296.00亿元。资料来源:中国机器视觉产业联盟,依据2020年中国机器视觉产业联盟企业调查,包括133家受访企业。从下游应用行业角度考虑,根据中国机器视觉产业联盟统计,机器视觉已经在电子/电气、半导体、汽车、印刷包装、食品加工等领域得到广泛应用。其中,电子/电气行业是目前中国机器视觉行业最大的下游应用领域,2020年其销售额占比为52.90%。资料来源:中国机器视觉产业联盟机器视觉行业发展趋势(1)应用领域持续拓宽过去十年是中国机器视觉行业快速发展的十年,经过一段时间的普及与推广,机器视觉应用范围逐渐扩大。目前,机器视觉的应用范围已从最初的消费电子等领域,逐步拓展至印刷包装、汽车、运输、医疗等领域。预计未来,除了传统的应用领域外,在AI、自动驾驶、人脸识别等新兴技术兴起的带动下,机器视觉将进一步拓宽应用领域。(2)嵌入式视觉应用持续增长嵌入式视觉系统是指在嵌入式系统中使用机器视觉技术,是嵌入式系统和机器视觉两种技术的整合,可独立完成从接收光信号到系统输出的整个信号处理过程。处理能力、存储器密度和系统集成度的提升,促进了嵌入式视觉在传统和新兴应用领域的渗透。未来,得益于越来越多的行业应用程序的支持,嵌入式视觉将被更广泛地应用在自动驾驶等领域新兴领域。(3)2D机器视觉向3D机器视觉升级相比2D机器视觉,3D机器视觉具有显著优势,例如测量速度快、精度高、抗干扰能力强、操作简便等,能有效解决2D机器视觉对于高度、厚度、体积、平面度等测量因素缺失的问题。3D视觉技术的突破,将进一步推动视觉技术在高端场景的应用,传统的2D机器视觉将快速向3D机器视觉升级,推动机器视觉市场持续增长。机器视觉技术面临的机遇与挑战(1)下游应用的发展给机器视觉带来的机遇与挑战随着生产工艺的精进及产品质量要求的提高,消费电子等行业对检测精度的要求越发严苛。例如,半导体生产制造已使用5nm工艺,对芯片的检测精度要求也已提升至纳米量级。受限于衍射极限,单纯采用显微放大的方式已经难以满足检测精度需求,导致加工良率难以提高,影响产品质量。因此,急需高精度的机器视觉技术解决更精 准的测量问题,保证加工工艺符合要求,降低封装成本,确保出厂产品质量。上述下游应用的发展推动了对机器视觉产品和服务需求的提升,但也对机器视觉厂商提出了更高标准的要求。随着下游应用的生产、加工、检测等环节的效率和品质要求不断提升,机器视觉厂商需要加大技术投入,以提高机器视觉系统的精度、检测效率等参数。(2)业内新技术发展给机器视觉带来的机遇与挑战行业内的新技术的发展为机器视觉厂商推出高品质的产品和服务提供了有力的支持,这也对业内厂商的技术研发能力提出了更高的要求。首先,光谱技术推动机器视觉实现目标的多种特征分析。随着机器视觉的快速发展和普及,机器视觉产品已经广泛应用于智慧农业、矿石分选、食品安全等众多产业中。各行业样本的复杂性要求机器视觉不仅需要实现目标的外观检测,也需要实现目标的材料成分、颜色、温度等特征的分析。光谱技术利用光的衍射和折射特性,通过光栅、棱镜等分光元件,在谱域获取有效信号,实现目标高维信息参量获取,并通过相关分析算法将谱域信号与测量需求建立联系,如物质成分、温度、三维面型等,通过对光谱的测量解决复杂多样化的测量需求。其次,计算成像技术的提升增强了机器视觉的图像信息获取能力。计算成像技术通过多样化数据采集,并通过特定算法解析,获取到传统成像中难以获取的图像信息,深度挖掘图像中隐含的内部信息,满足更高分辨率、更多维度、更大空间带宽积的光电成像需求。随着新型光电器件的发展和硬件计算能力的提升, 计算成像技术在光电成像领域呈现出蓬勃发展的趋势。此外,新型光学元器件的发展驱动了机器视觉性能的提升。机器视觉成像系统由照明光源、成像器件、图像采集器件组成,各类器件的性能升级都会推动机器视觉系统的性能和稳定性提升,从而实现高像质的图像采集。另外,丰富的元器件为提供个性化的图像采集和智能方案奠定了基础。(3)上下游技术的发展给机器视觉带来的机遇与挑战机器视觉系统不仅包括光学成像系统,还包括决策系统和执行系统。算力、算法、 传输技术的快速发展也为机器视觉带来了机遇与挑战。算力的提升使机器视觉的决策变得更为迅速,基于云平台的信息处理可以提供几乎无限的算力,解决各种复杂运算问题,提升了机器视觉系统的决策速度;分析算法的优化升级也使机器视觉的识别和分类变得更加准确;5G通信技术增加了信号数据通量、降低了信号时延、缓解了信号干扰等问题,使机器视觉在自动驾驶、精密自动控制、智慧工厂等领域中发挥重要作用。该等相关技术的发展提升了机器视觉系统的性能和使用效率,但也对相关硬件厂商的技术研发能力提出了更高的要求。机器视觉行业竞争格局中国机器视觉行业起步较晚。国外厂商具有较强的设计、研发和制造能力,视觉系统领域长期由基恩士、康耐视等厂商主导,最早国内厂商主要代理国外厂商的机器视觉产品。随着技术与经验的积累,部分国产厂商开始推出自主品牌的产品,且国内厂商能够提供本地化的定制化服务,供货周期较为灵活,市场份额逐年增长。根据中国机器视觉产业联盟统计,中国机器视觉市场的集中度有所下降,销售额排名前五的企业销售额合计占整体销售额的比例从2019年的33.0%下降至2020年的30.1%;销售额排名前十的企业销售额合计占整体销售额的比例从2019年的44.6%下降至2020年的40.3%。在成员企业中,2020年销售额排名前十的企业中,有8家公司的总部位于中国。 中国机器视觉市场部分主流企业介绍:凌云光成立于2002年,聚焦机器视觉业务,已开发出一系列可配置视觉系统和智能视觉设备产品,并自主研发了工业相机、光源等核心器件,在多行业得到广泛应用,服务于苹果、富士康、京东方等多家知名企业。2021年实现营业收入24.36亿元,归母净利润为1.72亿元。2022年7月6日,凌云光(股票代码:688400)在上交所A股科创板正式上市。天准科技成立于2005年,总部位于中国苏州,致力于以领先技术推动工业数字化智能化发展,主要产品包括视觉测量装备、视觉检测装备、视觉制程装备和智能网联方案等。2019年7月22日,天准科技在科创板正式挂牌上市(股票代码:688003)。2021年实现营业收入12.65亿元,归属于上市公司股东的净利润为1.34亿元。大恒图像成立于1991年,专注于机器视觉部件及视觉系统研发、生产和营销,是A股上市公司大恒科技(股票代码:600288)旗下核心资产。大恒科技产业之一的机器视觉组团(包括中国大恒图像分公司,大恒图像、深圳恒志、 上海昊邦、苏州图锐智能科技、苏州恒视智能科技等子公司,大恒图像子公司下属青岛恒纺、河北天昱恒等子公司及合资公司潍坊天恒)2021年度实现营业收入10.80亿元。奥普特(OPT)成立于2006年,定位于自动化核心零部件供应商,现已成为国内机器视觉应用技术领先者,产品包括视觉系统、光源、工业相机、镜头、3D激光传感器、工业读码器等。2020年在上交所科创板上市(股票代码:688686)。2021年实现营业收入8.75亿元,归属于上市公司股东的净利润为3.03亿元。宝视纳视觉技术(北京)有限公司成立于2018年,是 Basler集团旗下子公司。Basler创始于德国,是一家跨国的高品质工业相机和计算机视觉解决方案提供商,在欧洲、亚太、中国和北美均设有分支机构,包括生产制造工厂(位于德国和新加坡)、销售公司及联络处。
  • 机器视觉技术在工业智能化生产中的应用
    引言随着我国工业持续发展,工业主导地位不断提高,我国的工业生产结构产业结构从劳动密集型逐渐转向技术、知识密集型,产业发展的动能也逐渐从要素驱动转向效率驱动和创新驱动。与此同时,随着5G网络时代的到来,人民的生产生活将愈来愈智能化。为建设现代化强国,提高工业生产的作业效率和经济效益,实现国家经济增长再创新的高度。我国工业生产的智能化水平仍然是工业领域的一个重要的研究点,未来工业智能化的发展尤为重要。近年来,随着工业智能化的迅速发展,具有便捷性、精确性、迅速性、智能化等优点的机器视觉技术被广泛应用于工业生产各领域,其作为一种现代化检测手段,越来越受到人们的重视。机器视觉技术涉及计算机科学、人工智能、信号处理、图像处理、机器学习、光学、自动化等多个领域。机器视觉通过光学设备和传感器获取到目标物体的图像信息,然后将图像信息转化成数字化信息,进而通过计算机分析数据显示在电子屏幕上或者通过控制单元指导机器完成任务。机器视觉偏重于信息技术工程化和自动化,但又构建在计算机技术视觉效果方法论的基础上,它的重点是感知目标物体的位置信息、大小形态、颜色信息及存在状态等数据信息。本文主要通过论述机器视觉技术在工业生产智能化中的应用,分析机器视觉的优点及现如今存在的问题,并针对问题提出解决性的方法,进而剖析机器视觉技术在工业智能化生产上的发展趋势及方向,期望能为现代化的智能工业生产的发展提供借鉴。1 机器视觉的研究与发展机器视觉的概念始于20世纪50年代,最先应用于“机器人”的研制。通过机器视觉传感器采集图像信息并处理,进而通过计算估计下一步的位置来控制机器人运动。20世纪50年代:机器视觉的研究主要集中在二维图像的简单分析和识别上,像字符,工件、图片的分析和处理等,多用于航天、工业的制造与研究。20世纪60年代:利用计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构,提出基于机器视觉的多面体零件特征提取技术,进而为识别三维物体和三维计算机视觉研究打下坚实的基础。20世纪70年代:这个时期才有人首次提出较为完整的机器视觉理论,也陆续出现了一些视觉应用系统.简单的视觉应用系统小部分的代替人工生产,让工业生产逐步向自动化方向发展。20世纪80年代:机器视觉技术在这个时期获得蓬勃发展,随着一些新概念、新方法、新理论的不断涌现。机器视觉技术也不断和其他技术相结合,产生新的生产方式应用于工业生产中,机器视觉也逐渐被人们熟知和应用,使其工业生产中掀起新的生产浪潮。20世纪90年代:机器视觉技术开始应用于零部件的装配。同时,这一时期有人提出将机器视觉和神经网络技术相结合,实现了对机械零件表面粗糙度的非接触测量。这一技术的实现让众多机械零件表面的检测得到了应用,代替了人工检测,提高了工业生产效率,让众多工人的双手和双眼从工厂生产中解放出来。21世纪:现如今,机器视觉的发展已相对成熟,很多企业借助机器视觉的优点将其大量应用于工业生产中。现如今的时代是智能化的时代,现代工厂的生产也不断追求自动化以及机械化,倡导将传统的人工生产解放出来,越来越多的产业已经在工业生产智能化方面做的相当出色。机器视觉技术作为工业智能化生产中的关键技术,也不断的被人们改进。由此可见,机器视觉技术一步步地发展到现阶段,已经相对成熟,并且在各个领域都大规模是使用,尤其在工业领域发挥了至关重要的作用。但是国内的机器视觉技术相对起步较晚,相比国外还有一定的差距,还需要在技术、算法等方面努力跟进。2 机器视觉在工业机器人中的应用工业机器人是现代科技的主要代表技术,工业机器人以其方便精确,省时省力,而被广泛应用于家电、电子、服装、汽车、食品、等行业。随着现代科技的高速发展,高标准、高效率已经成为众多企业追求的目标,在这种发展背景下,工业机器人应运而生。其中让笔者印象深刻的就是京东自动化机器人仓库,硕大的仓库里面成千上万的机器人不停地在货架之间来回运动,将物品分类、投放、运输。在工业机器人领域中机器视觉具有如下功能。(1)定位和控制。现代工厂生产要求机器视觉系统能够快速,准确地找到目标物并确认其位置。然后使用机器视觉进行定位,并引导机械手臂去准确地抓取。(2)识别。主要利用机器视觉获取图像,然后对图像进行处理、分析和理解,以识别各种状态的目标和对象,用于跟踪和收集数据。一般的机器识别系统借助照相机完成。(3)检测。检测生产线上产品的质量,这也是取代人工最多的环节。在工业领域,主要检查包括尺寸大小检测,瓶子外观缺陷检测,瓶口缺陷检测,残次品检测等。(4)高精度检查。在工业生产中,一些精密的电子设备零件需要较高的精度,例如计算机、手机上高度集成的电子电路板,有些可达到精度0.01mm甚至μm级,人眼无法识别这些小的元器件,因此必须使用机器来完成。(5)分拣与搬运。现代工业生产与运转过程中,不可避免都会有一些分拣的工作,而传统利用人力进行分拣工作的方式存在较大局限,但视觉机器人的应用可以极大地提高工业生产的效率及工作精确度,进而解放了人们的双手。机器视觉系技术在机器人的应用中起到一个核心内容的作用。机器视觉中最关键的一项就是:怎样让机器人对运动目标物进行准确识别。视觉系统技术可以解决这一难题,加入视觉系统技术,可以使机器人对目标物进行实时的运动跟踪与检测,进而准确的确定目标物的位置与方向,确保机器人对其的准确定位。机器人视觉系统的工作主要分为4个部分:相机定位、图像分析与处理、目标物状态识别及机器人的动作操控。先利用相机定位对目标物建立运动坐标系,获取物体坐标;然后将获取的目标物分图像进行分析和处理;状态识别以图像分析为基础,对目标物的状态进行分析和处理,从而根据图像处理与分析的结果操控机器人的动作行为。工业机器人的使用是现代工业相对于传统工业的伟大进步与发展,其解决了传统工业成本高、效率低、耗时长等缺点,将人们双手解放出来,让现代化的工业生产更加自动化、智能化。3 机器视觉在工业控制领域的应用现代化的工业生产大多倾向机械一体化,例如,薯片的生产,从土豆的清洗,到最后薯片的装袋、封口,都不需要人为参与。当然有的人要说这样生产出来的东西没有人情味,但是我想说机械一体化的生产方式或许将是未来所有工业生产的大趋所示,其优点不在赘述。那么,怎么才能控制机械化生产呢?这就要用到机器视觉技术来控制机器生产。机器视觉控制器,因其具备出色的处理能力,可在10s以内高速完成最多128个点的检测,强大的处理能力可以直接影响可运行的算法以及视觉系统做出决策的速度。为了减少图像处理的时间,一些工厂现在使用同构处理来运行视觉算法。另外,现在的一些机器视觉控制器还具有用于网络连接的专用以太网端口以及用于连接外部数据存储器的端口。通过工厂连接功能,工作人员可以实现在办公室检测产品生产,查看图像,还可以实时回放,极大的方便了工厂的生产。这种直接进行工业一体化生产的方式在慢慢的取代传统生产方式,相信在未来的工业发展中,一大部分工厂将利用机器视觉控制实现工厂一体化生产。4 机器视觉在工业质量检测中的应用在现代化工业生产过程中,目标检测多种多样,市场需求相对较大。比如,检测机械零件大小是否达标、辨别条形码或包装条码、测试商品的外表缺陷、瓶口缺陷、打印缺陷等等。这些应用均需大批量测试,并且都是高精度的测试,人眼识别在这些检测中处于劣势,如果仅仅通过人工,耗时可想而知。在啤酒瓶的生产过程中,瓶子大小以及外观是否有缺陷等这些都需要经过质量检测。一些工厂一天就会生产成千上万的啤酒瓶,如果都利用人工来处理,是让人无法胜任的。而且一般人眼一直盯着同样的物体检测,时间长了,会造成视觉疲劳,进而导致残次品率高,工作效率低下。不仅如此,一些工厂还要花费大量成本聘请人力检测,这种落后的生产方式已经不再适合现代化生产。利用机器视觉技术可以有效的解决这一问题,用机器检测代替了传统的人工,大批量检测可以快速完成,加快了工厂的产品生产速度;另外,减少了工厂的生产成本,提高了产品的生产效率。机器视觉技术的应用,使工业生产不在受限于人眼识别的缺陷,提高了工业检测的精度和效率,使工业生产更加的自动化和智能化。5 机器视觉中的关键技术通俗来说,机器视觉的作用是代替了人眼来做测量和判断,机器视觉系统利用照相机和照明设备获取图像信息,然后传送给图像处理系统,图像处理系统将图片进行颜色、亮度处理,然后将图像信息转换成数字信号,最后通过计算机进行处理、分析。机器视觉中的两大关键技术:图像采集和图像分析与处理。(1)图像采集图像的获取是机器视觉技术中至关重要的一步,他是后续图像处理的保障。利用摄像头进行图像捕捉,摄像头的选择因功能而异;有时,图像的质量优劣还与光线强度有关,因此,会添加照明功能辅助图像采集。图像采集工作涉及到图像传感器的使用,一般灵敏度高、像素大、动态范围大、功耗低的图像传感器较受人们欢迎。目前市场上普遍使用的传感器是CCD,其灵敏度高、读取噪声低,因此在图像传感器占据一定的市场。日常生活中常见的图像采集有数码相机、手机、各式各样的摄像头、多媒体等,图像采集的速度、质量直接影响到后面图像的处理以及机器的控制。(2)图像分析与处理图像分析一般利用数学模型对图像的色彩、透明度、色差进行分析,进而提取出有用的图像信息。主要包括图像信息识别与读取、图像的存储、图像数据变换、图像分割、模型匹配以及解释。图像分析步骤如图1所示。图1 图像分析步骤对于分析好的图像信息,下一步就需要进行处理。一般的图像处理方法是数字处理,主要技术和方法包括去噪、增强、复原、提取特征等。图像处理所需的硬件有数字图像采集器以及图像处理计算机,主要的图像处理操作,还是要通过图像处理软件来完成。涉及的算法有傅里叶变换、正余弦变换、沃尔什变换,微分计算、滤波处理等。图像是机器获取和信息交流的主要来源。通过图像的获取、分析与处理,将外界信息转化成可供计算机分析的数字信号,进而通过分析系统传输给控制系统,发出下一条动作的指令,控制机器完成任务。6 机器视觉技术在工业应用中的发展趋势机器视觉技术的优点:可以利用机器进行非接触测量,可以利用机器实现在人无法工作和到达的区域完成对目标物的检测;机器比人眼对光更加敏感,可检测人眼看不见的红外及微弱光检测测量,解决了人眼的缺陷,扩大了人眼的视觉范围;机器不会产生疲劳,可以长时间的稳定工作,机器视觉可以进行长时间工作、分析、处理与操纵;利用了机器视觉解决方案,可以节省大量劳动力资源,有效降低企业生产成本,为现代化工业生产带来可观利益。现在科技技术发展较迅速,机器视觉技术的应用也相对成熟,但是还是存在诸多问题:当工业生产车间现场的噪声很大时,机器视觉系统往往会受到干扰,会造成设备灵敏度的降低或设备的损坏;另外工业生产现场有的处于高温,有的处于低温,这就要求机器设备要有一定的抗干扰能力和稳定性。图像的采集有时还会受光照强度的影响,当光线昏暗时,就会影响目标物图像的提取、识别及分析,进而有可能造成生产产品次品率上升,影响生产的精度及效率。如何解决这些问题并提高机器性能,进行有效的图像识别,使机器视觉技术在工业智能化生产中得到高效的利用,是当下研究的关键。(1)研发出高效率的图像处理软件和硬件。图像采集部分的快慢主要依赖于硬件的速度,高质量的硬件可有效减轻主机的负担,提高系统的对图像的分辨效率、采集效率、图像处理的速度及处理分析效率。高质量的软件也尤为重要,质量高的软件可以让机器的命令执行速度更加高速有效。(2)开发适用性强、高效、稳定、实时的智能算法。智能、高效、稳定化的智能算法可有效提高系统的分析处理速度,并且改善复杂环境下系统抗干扰能力较差的缺点,使系统有较强的即时性、鲁棒性、稳定性、抗干扰性以及环境适应性。7 结语由此可见,机器视觉技术在工业制造有着广泛的需求,在工业领域有着较大的发展空间。机器视觉技术的利用可有效的降低生产成本,节约劳动力,提高生产效率,降低产品次品率;另外,还可以实现非接触测量。机器视觉技术的优点如此之多,因此,对制造业领域智能化的发展也具有较大的影响。但是,现在的机器视觉技术还有待提高,许多技术难题还亟待解决,当下任务应着力解决机器视觉技术在工业生产上的智能化、自动化应用,以便以后全面投入工业领域生产,进而为我国的现代化强国建设做出贡献。本文作者:北京信息科技大学信息与通信工程学院 孙郑芬 吴韶波
  • 蓝菲光学超均匀面光源助力机器视觉相机校准
    1、背景介绍 近年来,随着工业4.0及人工智能的发展,越来越多的自动化设备被广泛应用于生产过程中。工业4.0离不开智能制造,我国在2015年提出的“中国制造2025”宏伟计划中,第一项战略对策就是“推行数字化网络化智能化制造”,而智能制造中,最核心的一环就是机器视觉。机器视觉是指通过机器来模拟人眼的功能,对客观事物进行信息提取,处理和分析,最终实现检测和判断,最终交给计算机进行控制。中国是机器视觉产业发展最为迅速的国家,目前已经在工业,航天,医疗,交通,科研等诸多行业进行了广泛的应用。图1 机器视觉代替人眼二、目前机器视觉存在问题 典型的工业机器视觉系统包括:光源,镜头,相机,图像采集卡,软件,监视器,输入/输出等。对于光学检测来说,机器视觉系统的性能主要取决于系统中光学相关部件,比如光源,镜头,相机等的性能。此外,光学检测要求的精度一般都较高,但是大多数相机在出厂时,并没有专门针对光学检测应用进行专门校准,往往会导致机器视觉系统的精度达不到要求,结果会出现误差。 比方说,如果将刚出厂的工业相机对着一个均匀照明的发光面进行拍照,拍摄出的图像四个角往往会出现暗区,这主要是由于相机镜头的余弦响应造成的。此外,由于相机传感器(CCD/CMOS)的非均匀性,也会导致对均匀光场成像的时候,图像的亮暗,颜色不均匀,如下图所示。以上这些因素,都会导致在一些精密的光学检测(比如平板显示检测)时,检测结果和真实情况出现较大偏差。图2 校准前相机平场响应 除此之外,相机对于不同亮度的线性响应也不同。由于相机输出的信号是灰度值,并不具有真实的物理意义。因此,在做光学检测(比如说亮度检测时),需要对相机进行线性度和亮度标定,建立起相机灰度信号和真实亮度的关系曲线。三、工业相机校准解决方案 为了解决以上机器视觉系统中存在的问题,提高机器视觉系统,尤其是AOI等光学检测系统的精度,欧洲机器视觉协会EMVA提出了《EMVA1288:成像传感器和相机性能表征标准》,其中介绍了如何对成像传感器及相机的空间不均匀度,灵敏度,线性度和噪声等一些列指标进行表征和校准的办法。其中明确写到:“最好的均匀光源是积分球均匀光源”,且推荐“光源的均匀性要大于97%”。图3 蓝菲光学相机平场校正方法 用户在使用时,只需要相机对准均匀光源的开口,拍摄一张图像,再经过算法进行计算,就可以对相机的均匀性进行校正,这一过程称为平场校正。经过均匀光源校准后,相机的均匀性可以显著提高。如下图所示,为一个工业相机经过积分球均匀光源校正前后相机的均匀性测试结果。从图中可以很明显看出,校正前相机的均匀性较差,中心场的响应优于周边的响应。校正后相机平面内的响应一致。相机校正前 相机校正后图4 工业相机经过蓝菲光学LED 积分球均匀光源系统平场校正前后对比 四、完美的积分球面光源 工业相机的精度决定了机器视觉系统的检测精度,校准光源的均匀性决定了工业相机的精度。越是均匀的积分球光源,经过其校准后得到的相机均匀性越高。根据积分球的原理,入射到积分球的光在积分球内部进行多次反射,最终在输出端口得到亮度,色度都完全均匀的面光源。积分球的出光口均匀性主要取决于以下几个方面:1.积分球内壁材料的反射特性。材料的反射特性可以分为朗伯反射,镜面反射和混合反射。由积分球原理可知,积分球内壁材料反射特性越接近朗伯特性,其开口处均匀性越高。此外,当入射光是宽谱光时(比如白光),材料的光谱反射一致性决定了开口处的色度均匀性,材料的光谱反射率越一致,也就是对各个波长的反射率越一致,开口处的色度越均匀。2.积分球的设计。如何设计积分球的尺寸,入射光的位置,挡板的位置和方向,都会影响积分球开口的均匀性。 蓝菲光学积分球均匀光源Spectra-CT提供了一种超均匀,高动态范围,亮度/色温均可精细调节的面光源。该积分球光源采用蓝菲光学独有的高反射率完美朗伯反射材料Spectraflect,基于蓝菲光学40余年的光学系统开发经验,精细的积分球结构设计,是机器视觉相机校准的完美解决方案。其主要具有以下特点:出光面超级均匀,均匀性大于99.5%系统输出稳定性高,稳定性达0.1%亮度线性可调节,可实现从微弱光0.1cd/m2至25000cd/m2的亮度输出色温动态可调节,可实现从低色温2700K到高色温7500K的输出自带亮度监控,实时观测亮度输出情况软件实现光源和探测器的全部控制,界面简单易用,可提供控制指令供二次开发。系统还可定制各类色温,亮度,单色光,大视场角等不同参数的光源图5 蓝菲光学LED 均匀光源系统(Spectra-CT)及开口处光斑亮度分布 Spectra-CT LED积分球均匀光源是均匀性较高的面光源,其卓越的性能可以满足EMVA1288要求的相机均匀度,线性度,信噪比,动态范围等诸多参数测试。是从研发到生产,各类工业相机的理想校准光源。
  • 专家谈机器视觉检测技术【1】:研究背景+典型系统组成
    《产品外观缺陷机器视觉在线检测技术及设备开发》一文由合肥工业大学仪器科学与光电工程学院卢荣胜教授投稿分享,包括自序、研究背景、典型系统组成、成像技术及实现策略、关键核心单元部件、缺陷识别与分类、结束语、致谢几个部分。由于篇幅较长分为四篇发布,以下为第一部分:自序、研究背景、典型系统组成。1.自序本人1985年大学毕业后在量仪厂从事量具、刃具、工装、专机与机加工工艺开发等技术工作,于1992年从师费业泰教授攻读硕士与博士学位,从事精密机械热变形误差、精密仪器精度理论方面研究, 1998年末博士毕业后又拜师天津大学叶声华教授,从事机器视觉在线检测方面的博士后研究,研究方向随之聚焦于机器视觉与光学精密测量领域。之后在香港城市大学、英国帝国理工学院和哈德斯菲尔德大学进行了为期6年的三维机器视觉、自动光学检测和光学测量技术研发工作,于2006年5月返回母校合肥工业大学任教。回国后继续从事机器视觉与光学测量方面的研究,坚持面向平板显示、新能源、软性电路板、半导体等先进制造产业,注重技术的应用开发。先后主持了国家自然科学基金项目3项、863专项1项、国家科技支撑项目1项、国家重大科学仪器设备开发专项1项、国家重点研发课题1项、以及其它省部级项目和产学研合作项目10余项,在机器视觉与光学测量领域已培养硕士和博士研究生100余人。鉴于在机器视觉技术研究及应用开发方面20余年的研究积累,2021年无锡市锡山区政府与我们科研团队合作,联合创立了一个新型科技研发机构——无锡维度机器视觉产业技术研究院,采用实体化运营模式,面向先进制造产业链,从事机器视觉与光学精密测量方面产业共性关键技术研究与产业化开发。研究内容与产业化业务范围涉及机器视觉缺陷在线检测、三维机器视觉精密测量、机器人视觉引导、半导体检测、机器视觉关键零部件开发等。开发的视觉系统与仪器已经在平板显示、光伏、锂电池、软性电路板、半导体等行业得到成功应用。鉴于篇幅问题,本文重点聚焦于产品外观缺陷视觉在线检测技术,归纳了我20多年来在这些方面的科学研究与产业化开发的进展情况与心得体会。2.研究背景在产品制造过程中,由于生产环境不理想、制造工艺不规范等各种原因,零部件和产品外观难免会含有多种缺陷,如印制电路板上出现孔位、划伤、断路、短路和污染,液晶面板的基板玻璃和滤光片表面含有针孔、划痕、颗粒,带钢表面产生裂纹、辊印、孔洞和麻点,铁路钢轨出现凹坑、鼓包、划痕、擦伤、色斑和锈蚀,等等。这些缺陷不仅影响产品外观,更重要的是影响产品性能,严重时甚至危害生命安全,对用户造成巨大经济损失,因此,现代制造业对产品的表面质量控制非常重视。产品外观缺陷在线检测最传统的方法就是采用人工目视检测法,目前高端制造工厂大部分都采用自动化生产,但人工目视检测岗位仍占据工厂整体人员的15%-30%。鉴于人工目视检测存在对人眼伤害大、主观性强、准确率低、不确定性大、易产生歧义和效率低下等缺点,已很难满足现代工业对产品质量及外观越来越高的严格要求。随着电子技术、图像传感技术和计算机技术的快速发展,利用基于图像传感技术的视觉在线检测方法已逐渐成为外观缺陷检测的重要手段,因为这种方法具有自动化、非接触、速度快、准确度高等优点。目前,外观缺陷视觉在线检测技术已经广泛应用于工业、农业、生物医疗等行业,尤其在现代制造业,如平板显示、光伏、锂电池、半导体、汽车、3C电子(计算机、通讯和消费电子产品)等领域,对能够实现机器换人的外观缺陷视觉检测技术需求越来越旺盛。3.典型系统组成产品外观缺陷机器视觉检测是基于人眼视觉成像与人脑智能判断的原理,采用图像传感技术获取被测对象的信息,通过数字图像处理增强缺陷目标特征,再通过Blob(Binary large object)分析、模板匹配或深度学习等算法从背景图像中提取缺陷特征信息,并进行分类与表征。在工业应用领域,外观缺陷视觉检测系统实际上是一种智能化的数字成像与处理系统,即采用各种成像技术(如光学成像)模拟人眼的视觉成像功能,用计算机处理系统代替人脑执行实时图像处理、特征识别与分类等任务,最后把结果反馈给执行机构,代替人手进行操作,执行产品的分类、分组或分选、生产过程中的质量控制等任务。(左)6代线液晶阵列和彩色滤光片缺陷检测仪 (中)8.5代线玻璃基板缺陷检测仪 (右)ITO导电膜表面缺陷检测仪图 1 高世代液晶面板关键工艺节点缺陷视觉在线检测系统图 2 表面缺陷视觉在线检测系统组成原理图图1为我们在国家重大科学仪器设备开发专项的资助下,针对6代线和8.5代线液晶面板显示器制程中关键工艺节点,开发的三种缺陷视觉在线检测系统。该系统能很好地揭示一个视觉在线检测系统的各个组成部分、关键技术难点,以及所需的关键零部件。主要技术参数为:待测幅面大小≤1800x2200mm, 快速发现缺陷分辨率10μm, 复检显微分辨率0.5μm, 并行图像处理与缺陷识别系统采用CPU+FPA+GPU 主从分布式异构并行处理架构,检测时间节拍20s。系统组成与关键零部件单元可用图2示意图来清晰地描述,它由精密传输机构、光源、相机阵列、显微复检、并行处理、控制、主控计算机、服务器等单元模块,以及与工厂数据中心互联的工业局域网组成。图 3 展示了我们开发的手机液晶显示屏背光源模组缺陷转盘式多工位视觉在线检测系统的结构组成,该检测系统包括自动上料、编码、对准、检测、分选、返修识别等几个部分。图 3 背光源模组在线自动光学检测系统3.1 自动上料机构自动上料机构包括装配线上传输来的背光源模组位姿探测、电动与气动机构抓取、位置校正、送料等部分组成。工作原理如下:1. 在装配线传输带工位(1)的上方放入一个监视相机,当前道工序组装系统装配好背光源模组传输到工位(1)后,监视相机拾取到有待测模组时,计算模组在工位(1)处的位置与模组姿态信息,并发出工作同步指令给后续上料与检测系统。2. 监视相机发出工作同步指令后,气动与电动缸组成的送料系统把工位(1)处的背光源模组从传输带上吸起来,然后在气动滑台的带动下,把工位(1)处的背光源模组搬运到工位(2)处。在放到工位(2)上之前,计算机根据工位(1)上方的相机拍摄到的模组位置与姿态,发出指令给真空抓取吸盘角度校正电缸,初步校正背光源模组在空间的角度。当背光源模组运送到工位(2)后,模组在工位(2)处由4个气动滑缸从四边向中间对中,校正模组的位置,然后背光源模组下方的相机,对模组成像,识别待检背光源模组喷码序列号,作为有缺陷模组在返修过程中,从缺陷数据库中自动调出缺陷信息,指导返修任务。3. 在工位(1)处吸盘抓取背光源模组的同时,右边的吸盘在工位(2)处把已经校正好的模组吸起来,然后在气动滑台的带动下,把校正后的模组输送检测转盘工位(3)处。至此,一个上料循环完成。3.2 检测机构检测机构由间隙转动工位转盘、上料位置对准探测、异常检测、画面检测和外观检测工位组成。工作原理如下:1. 背光源模组被自动送料机构传输到工位(3)后,转盘在控制系统的控制下,转到工位(4)。在工位(4)的上方安装一个相机,检测背光源模组定位是否正常,模组LED灯工作是否正常,并把信息传给主控计算机。如果一切正常,则后续检测工位按预定的方案进行检测;如果不正常,后续检测对该模组不检测,然后传送到工位(9),由分选机构抓取,传送到不良品传输带上。2. 当模组转到工位(5)~(8)处后,缺陷扫描成像系统对画面缺陷进行扫描检测,缺陷扫描成像系统由高速扫描相机、一维滑动台、光栅、伺服系统、调整机构组成。由于外观检测项目较多,一个工位难以不够,故把工位(7)和(8)两个工位作为外观检测机构。3.3 分选机构分选机构由良品与不良品气动抓取机构、间隙运动传输带组成。结构布局参看图 3 所示,其工作原理如下:1. 如图 3 所示,画面(外观、异常等)缺陷检测完毕后,模组继续向下道工位转动,当模组运动到工位(9)后:分选机构左边的气动吸盘抓取工位(9)上的模组,传输到工位(11)处。2. 如果该模组是不良品,在分选机构向工位(9)移动的过程中,不良品传输带向前移动一个工位,把工位(11)清空,等待放置下个模组。3. 如果是良品,在下一个时刻分选机构抓取工位(9)上的模组时,右边的吸盘同时抓取工位(11)上的模组,在分选机构左吸盘把模组放到工位(11)处时,右吸盘把良品模组放置到良品传输带上工位(12)处,然后良品传输带向前移动一个工位,清空工位(12)等待放置下个模组。传输带之所以作间隙运动,一方面可以节省空间,另一方面考虑到不良品只是少数,这样可以让不良品按顺序一个一个经凑地排列在传输带上,不需要有人监视,返修人员只要传输带上放满了不良品后取走返修。3.4 复检与不良品返修对于检测到的不良品,再采用人工目视复检,并对不良品进行返修。在返修工作台上放置一个电脑,并安装一台成像系统,拾取不良品背面的编码。返修显示电脑通过工业以太网与缺陷数据库服务器相连,相机在电脑的控制下,获得带返修的不良品编码后,根据编码从服务器中调用缺陷信息,显示在屏幕上,导引返修人员对不良品进行合理的返修。
  • 机器视觉检测技术:应用场景多样化,国产品牌崭露头角
    1. 机器视觉市场规模稳定扩张,国产替代显现,国家政策助力行业稳定发展1.1 机器视觉应用场景广泛,规模稳定扩张,国产品牌逐 渐崛起机器视觉指一种应用于工业和非工业领域的硬件和软件组合,它基于捕获并处理的图像为设备执行其功能提供操作指导。因此,成像和图像处理分析是机器视觉两大主要构成部分。继续拆分机器视觉系统,可知其主要包括光源及光源控制器、镜头、相机、视觉 控制系统(视觉处理分析软件及视觉控制器硬件)等。机器视觉的成像功能部分由光源及光源控制器、镜头、相机等硬件构成;对形成的图像进行分析处理、输出分析结果至智能设备的其他执行机构的工作交给了视觉控制系统。 机器视觉行业产业链主要由上游零部件、中游装备及下游应用市场构成。上游的零部件通常包括光源、工业镜头、工业相机、图像采集卡、软件及算法平台,其中工业镜头、 相机、采集卡、软件算法平台等关键软硬件是机器视觉的关键价值组成部分。全球市场中,康耐视(Cognex)及基恩士(KEYENCE)有着深厚的技术支撑,占据市场份额较大,属于行业内领先企业。《中国工业机器视觉产业发展白皮书》提到,我国品牌奥普特 近年来在上游零部件的制造上也逐步发力,成为国内市占率最高的公司。行业中游中的装备协助企业对产品进行引导、识别、检测、测量及其他智能制造相关应用。这些装备随即可广泛应用于电子及半导体制造、食品饮料、汽车、制药等下游市场。 根据中商情报网数据,我国机器视觉下游需求市场一半以上由电子电气构成,占比 52.90%, 其次为半导体,占比 10.30%。除此之外,应用较为广泛的下游市场还有汽车、印刷包装、 以及食品加工,分别占比 8.80%、5.50%、4.90%。机器视觉的系统成本由零部件制造、软件开发、组装集成以及维护过程产生的成本构成, 其中以零部件为主要构成部分,占据的百分比接近所有成本值的一半。零部件生产和软件开发是上游企业的核心业务范围,二者合计占比高达80%。机器视觉行业自 1959 年起开始萌芽,神经生理学家 David Hubel 和 Torsten Wiesel 研究视觉皮层神经元的核心反应特性,同年 Russell 研制了一台可以把图片转化为被二进制机器所理解的灰度值的仪器;1969 年,贝尔实验室成功研制出了 CCD 传感器(电荷耦合器件图像传感器),可以直接把图像转换为数字信号并储存到电脑中参与计算与分析,奠定了机器视觉基石。 90 年代中后期开始,中国开始在机器视觉领域进行探索,开始在航空、航天、军工、及 高端科研(天文、力学研究)等核心机构及行业应用。1998 年我国开始引进机器视觉系统。 目前机器视觉已经达到了产业发展阶段,应用和算力的提升共同促进机器视觉产业发展, 各大生产领域纷纷布局于机器视觉产业。机器视觉相较于人眼视觉有较多优势,如在观测精度方面,机器视觉具备更细致的观测能力,可观测至微米级的目标;在观测速度方面,机器视觉快门速度可达 10 微秒左右, 使其具有高速且稳定的分析处理图像的能力。除此之外,机器视觉系统在感光范围、对环境的要求、效果客观性及可靠性方面均强于人眼视觉,这也是机器视觉广泛应用的重要原因。根据中国机器视觉产业联盟(CMVU)发布的《中国工业机器视觉产业发展白皮书》,2015 年至 2021 年我国工业机器视觉市场规模由 64.23 亿元增至 165 亿元,CAGR 为 17.03%, 其中 2021 年同比增长 10%。2020 年之前,我国机器视觉市场中国外品牌的份额高于国内品牌;2020 年上半年疫情对国外产品影响较大,CMVU 数据显示上半年销售额同比下降 50%,而我国自主品牌产品应对较好,销售额同比下降 12%左右。2020 年全年国内品牌 销售额为 77 亿元,超过了国外品牌的 73 亿元。我国机器视觉相关品牌正在逐步崛起, CMVU 预测 2022 年国内机器视觉品牌市场规模将达 100 亿元,国外品牌 80 亿元。我国自 1998 年开始引入机器视觉系统以来,参与机器视觉产业发展的企业逐年增长。根据企查查中得到的数据,2010 年至 2019 年每年新增行业内相关企业呈现逐年增长的趋势, 到达 2019 年时,当年新增机器视觉企业数已达 819 个,达到近年来新增值的顶峰。2020 年以来,受疫情影响以及行业内集中度的提升,每年新增企业数逐渐放缓,2021 年共计 新增 278 家机器视觉相关企业。1.2 国家政策推动机器视觉发展,机器人技术结合高端装备制造助力行业进步机器视觉是与工业应用结合最为紧密的人工智能技术,在智能制造高速发展的时代,国家对于这一有助于智能制造持续提升的技术也是给予了多次政策鼓励与支持。 2021 年 12 月,工业和信息化部、国家发展和改革委员会、教育部、科技部、财政部、人力资源和社会保障部、国家市场监督管理总局、国务院国有资产监督管理委员会联合发布《“十四五”智能制造发展规划》,其中提到,要大力发展智能制造装备,推动先进工艺、信息技术与制造装备深度融合。推动数字孪生、人工智能等新技术创新应用,研制 一批国际先进的新型智能制造装备。 2020 年 9 月,国家发展改革委、科技部、工业和信息化部以及财政部共同发布的《关于扩大战略性新兴产业投资培育壮大新增长点增长极的指导意见》中特别强调,要重点支持工业机器人、建筑、医疗等特种机器人、高端仪器仪表、轨道交通装备等高端装备生产,实施智能制造、智能建造试点示范。研发推广城市市政基础设施运维、农业生产专用传感器、智能装备、自动化系统和管理平台,建设一批创新中心和示范基地、试点县。 鼓励龙头企业建设“互联网+”协同制造示范工厂,建立高标准工业互联网平台。国家通过各政府部门在不同方面发布的指导意见与规划,从智能制造、新产业发展、电 子元器件等多个角度对机器视觉行业发展提供助力,为机器视觉产业链内所有产品的研发和生产提供良好环境,对行业内相关公司的生产经营状态做出高度肯定。2. 下游应用市场广阔,各行业发展带动机器视觉需求不断提升2.1 消费电子市场为主要应用方向,产品更新速度拉动机器视觉行业需求当前,我国已经站在消费电子行业的创新潮头,产业链中各项产品的研发生产规模均比肩世界领先水平,同时,我国居民消费水平也随着经济发展的历程逐渐提升,对于消费电子的需求日益增长。受益于各方面原因,消费电子行业市场规模近年来稳定发展。根据中商情报网数据,2017 年至 2021 年市场规模由 16120 亿元增至 18113 亿元,CAGR 为2.96%。在国内疫情逐年转好的背景下,按年均复合增长率估算,预计 2022 年市场规模 将达到 18649 亿元。消费电子作为人们生活中主要使用的电子产品,通常应用于娱乐、通讯、便民以及文书用途。智能、平板电脑、可穿戴设备等属于消费电子的主要细分市场类型,目前广泛应用于我国居民的日常生活中。根据工信部数据,我国智能手机销售情况在 2017 年经历了一次高速发展,当年出货量达 到 4.44 亿台,市场逐渐靠近饱和。自那以后,消费者对于智能手机的需求有放缓的势头, 2018 年至 2020 年出货量均呈现下滑趋势。在 2021 年这种趋势被突破,当年智能手机出货量回升,为 3.43 亿台,同比增长 3.94%。截止至 2022 年二季度,我国当年智能手机共出货 1.4 亿台,同比下降 14.40%。平板电脑作为一种便携式输入设备,在人们的学习和工作中运用得越来越广泛。IDC 数据显示,2021 年,我国平板电脑出货量为 0.28 亿台,同比增长 21.74%。截止至 2022 年二季度,我国平板电脑出货量为 0.14 亿台,同比增长 4.47%。 常见的可穿戴技术类型包括智能手表和智能眼镜。可穿戴电子设备通常接近或在皮肤表面,对如生命体征和/或环境数据信息进行检测、分析和传输,在某些情况下允许对穿戴者进行即时生物反馈。随着技术的发展和市场的扩大,可穿戴设备的用例也在不断增加。 IDC 数据显示,我国可穿戴设备的出货量自 2017 年至 2021 年由 0.57 亿台增至 1.4 亿台, CAGR 为 25.19%,其中 2021 年出货量同比增长 30.84%。截止至 2022 年二季度,受宏观消费环境影响,当年总出货量有所下降,共 0.54 亿台,同比减少 14.29%。由于消费电子元器件通常尺寸较小,且产品对各元件精细度要求较高,因此使用机器视 觉检测对消费电子产品制造大有裨益,能够使元器件完成尺寸更精准、工作效率更高。 同时,消费电子对产品精细程度的高要求也促进了机器视觉检测行业的技术变革与发展。 作为机器视觉应用最为广泛的下游行业,消费电子产品生命周期短、更新换代快的特征 使智能手机、平板电脑、可穿戴设备等至少两年需要重新购入一批,导致其上游机器视 觉产业需求持续增长,推动机器视觉市场蓬勃发展。2.2 与半导体相关研究追溯至上世纪 80 年代,机器视觉检测系统工艺逐年优化半导体产业已经成为衡量国家综合实力标准之一,全球行业迎来新增长周期。半导体产业作为信息时代的基础,已成为衡量国家产业竞争力以及综合国力的重要指标。 据美国半导体产业协会统计,从 2017 年至 2021 年,全球半导体销售额由 4122.21 亿美元 增至 5569.87 亿美元,CAGR 为 7.81%。截止至 2022 年 8 月,全球半导体销售额为 4015.84 亿美元,同比增长 13.88%。我国半导体市场销售额发展趋势基本与全球总额涨跌规律相近,2021 年全国共实现半导体销售额 1877.40 亿美元,同比增长 24.84%。按份额来说, 我国半导体市场销售额在全球总额的比重近五年内处于 31%-35%之间,截止至 2022 年 8 月,我国半导体销售份额为 32.71%。在半导体产业链中,从单晶片到制成品等各项产品的制造过程中都离不开检测工艺环节, 其市场规模随着新型技术及工艺环节不断增加,行业对检测的技术方法与效率提出了更高的要求,检测行业市场规模随即逐年提升。 根据 VLSI Research 统计,全球半导体检测和量测设备市场规模自 2016 年至 2021 年由 47.6 亿美元增至 84.4 亿美元,CAGR 为 12.14%,其中 2020 年同比增长达到最高为 20.09%, 2021 年同比增长 10.33%。我国半导体检测和量测设备市场规模在同一时间区间内则由 7 亿美元增至 25.8 亿美元,CAGR 达 29.81%,高于世界平均水平。VLSI Research 预测 2022 年全球和中国半导体检测和量测设备市场规模将分别达到 92.1 亿美元及 31.1 亿美元。与消费电子同理,半导体设备的制造过程中,小到单晶片,大到制成品,外观缺陷、尺寸、数量、平整度、距离、定位、校准、焊点质量、弯曲度等方面的参数均离不开机器视觉系统的检测。 自上个世纪 80 年代起,国外已经开始研究机器视觉系统在半导体检测工艺环节的应用。 1980 年,Y. Y. HSIEH 和 K. S. Fu 提出一个自动视觉检查和最终包装系统的组合,用于集成电路(IC)芯片的自动视觉检测和线装,为机器视觉在半导体检测行业的应用提出可行性。而我国在这方面的研究起步相对较晚,经过几十年的学习与尝试,近年来国内的 一些企业也在半导体检测设备研究方面也有所发展。如矩子科技部分产品布局于制造工艺外观缺陷 3D,2D 检测,具体包括晶圆表面缺陷,杂物,裂纹,切割崩裂等检测;封装工艺(DB,WB)晶片不良,胶水不良,焊线不良,焊球不良,以及杂物等缺陷检测。2.3 汽车制造产业蓬勃发展,机器视觉技术贯穿全产业链汽车制造业是我国国民经济重要的产业之一,发展非常迅速。随着人们追求高质量生活的意愿不断变强,汽车成为现代人最常使用的交通工具之一,需求日益增长。 根据中国汽车工业协会的数据,2020 年受疫情影响,我国汽车产量全年不及上年水平, 全年产量共计 2522.5 万辆;自 2021 年起,由于防控得当,汽车产量值高速增长,其中 2021 年 2 月末以及 3 月末总产量增速达到 89.94%、82.84%,全年共产 2608.2 万辆。2022 年上半年,由于芯片短缺及宏观经济环境低迷,我国汽车产量小幅度下降,7 月后情况有所好转,到 8 月末,当年共生产汽车 1696.7 万辆,同比增长 4.95%。从规模以上工业增加值方面看,2022 年上半年工业增加值增速呈现逐月负增长的趋势, 2022 年 6 月-8 月汽车制造业工业增加值分别同比增长 16.20%、22.50%、30.50%,高于同 期工业企业工业增加值增速。我国汽车制造业中企业竞争激烈,据国家统计局披露,2022 年起行业内企业数超过 1.7 万家,截止至 2022 年 8 月底,共计 17369 个,同比增长 6.81%。在这 1.7 万余家企业的共同努力下,2021 年我国汽车制造业出口交货值为 4933.9 亿元,同比增长 39.49%;截止 至 2022 年 8 月底,出口交货值为 3899 亿元,同比增长 23.83%。受国内上半年疫情影响, 营业利润随着汽车产量的下滑出现小幅度减少,2022 年 8 月底我国汽车制造业实现利润 共 3162.8 亿元,同比减少-8.01%。现如今,汽车制造已经实现高度自动化,在这个过程中,机器视觉能够使生产过程更高效、产品质量更有保障、生产环境更安全可靠。在汽车制造产业链中,机器视觉存在于原材料质检、汽车零部件质检、制造过程工艺检测、整车质量把控等全过程中。《中国工业机器视觉产业发展白皮书》提到,机器视觉检测系统可用于车身装配检测、面板印刷 质量检测、字符检测、零件尺寸的精密测量、工件表面缺陷检测、自由曲面检测、间隙检测等几乎所有系统和部件的制造流程。随着新能源汽车逐渐普及,汽车制造过程中的精细零部件数量将会进一步增长,对机器视觉系统的需求随之上升。2.4 机器视觉检测识别产品包装缺陷,高效剔除残损及不合格产品包装是产品的必要组成部分,除了保护产品不受碰撞伤害,优秀的包装设计也能够为产品带来额外的广告效应,吸引更多消费者来购买,提升产品的销售量。 海关总署数据显示,截止至 2022 年 8 月,我国包装机械产品每月出口数量为 150.65 万台, 同比增长 88.01%,环比增长 70.30%;出口金额为 3.82 亿美元,同比增长 18.51%,环比 增长 3.01%。从产量方面看,根据国家统计局数据,2021 年起包装专用设备每月产量开始大幅度增长, 每月产量均超过 40000 台,同比增速基本都超过 100%。到 2022 年,我国包装专用设备单月产量受上半年疫情影响出现波动,在 6 月疫情形势转好后,设备产量逐渐恢复,6 月-7 月生产设备数分别为139,005 台及 118,701台,同比增长81.44%以及 165.08%。通常来说,产品的包装过程由专门的工人负责完成,但囿于人工效率低于机器,且具有成本高、劳动强度大等缺点,机器视觉系统在包装行业已经逐渐取代人工。高效、精准、 成品尺寸整齐等特征促使机器视觉系统在包装制造行业发展的历程中占据重要的一部分。 同时,机器视觉还可以应用于包装检测中,通过采用先进的机器视觉技术,自动识别所包装产品的缺陷状况,并自动从生产线上剔除残损及不合格产品。目前,机器视觉系统广泛应用于食品饮料包装生产与检测中,机械化产业线能够解决人工制造与检测效率不够的问题。通过输送链将待检测空瓶依次传送到视觉成像工位,获取图像,图像经工控机处理后,执行机构剔除不合格产品,完成产品质量检测。同样,玻璃药瓶与食品包装类似,随着制药机械自动化程度的提高,工厂有必要检测品包装的缺陷,以确保药品的运输和使用安全,避免出现缺粒、包装破损和夹杂异物等问题。药瓶相较于普通食品包装具有特殊性,玻璃药瓶在形态、精度等方面都需要精准的检测。《西林瓶缺陷自动视觉检测方法与系统研究》一文中,张寒乐团队开发了一套医药西林瓶在线视觉检测系统。根据对于检测系统的机械与电气结构的研究,团队设计了机械传动与图像采集装置。该装置能根据西林瓶不同部位的检测要求,采用瓶口、瓶身与瓶底 3 种成像方案,对玻璃药瓶进行精准检测。2.5 机器视觉为工业机器人产业发展奠定基础机器视觉具有系统实时性好、定位精度高等优点,能有效地增加机器人的灵活性与智能化程度,是实现工业自动化和智能化的重要手段之一。因此,机器视觉系统技术的研究为工业机器人的产业发展奠定了基础。在当下生活中,机器视觉技术已经逐渐融入各项产业发展过程中,在一定程度上改善了人们的生活质量,提高了生产力与自动化水平。 自动化设备的发展将在机器视觉技术的不断进步下更智能、更迅速,同时在各下游领域中,机器视觉的作用将呈现出更可靠、更高效的趋势。 机器人被各国视为推动产业转型升级的重要切入点,可广泛应用于各种行业。根据中国电子学会发布的《中国机器人产业发展报告(2022)》,其中提到,全球工业机器人市场规模在 2021 年达到 175 亿美元,同比增长 25.90%;特种机器人市场规模为 82 亿美元, 同比增长 24.24%。我国工业机器人 2021 年市场规模达到 75 亿美元,同比增长 15.38%; 特种机器人为 18 亿美元,同比增长38.46%。机器人行业正处于上升期,增长幅度稳定, 根据中国电子学会预测估计,2024 年全球工业机器人和特种机器人市场规模将达到 230 亿美元及 140 亿美元,我国市场分别为 115 亿美元及 34 亿美元。根据国家统计局数据,截止至 2022 年 8 月,我国工业机器人单月生产 41261 台,同比增 长 25.69%,环比增长 8.06%;累计产量为 277536 台,同比增长 16%。对比 2017 年至今的工业机器人产量月度数据,2021 年开始明显多于前四年,目前仍处于产能扩展阶段。3.重点公司分析3.1 天准科技——致力打造卓越的视觉装备平台型企业天准科技致力于以领先技术推动工业数字化智能化发展,致力打造卓越的视觉装备平台型企业,主要产品包括视觉测量装备、视觉检测装备、视觉制程装备和智能网联方案等。 公司产品下游应用行业广阔,包括半导体、汽车、消费电子等景气度高的高智能化制造业领域,同时也对智能驾驶、车路协同等智能化解决方案领域提供帮助,改善人们的生活。 公司产品中,视觉测量装备占比最大,其功能为使用自主研发的机器视觉算法对工业零部件进行高精度尺寸测量,2017 年至 2021 年收入占比分别为 57.68%、70.67%、61.92%、 85.27%、48.46%。自 2021 年起,视觉检测装备收入开始在总收入占比中增大。视觉检测装备主要用于产品缺陷检测,并按照缺陷特征分类分级。2022 年中报显示,视觉测量装备占比 32.47%,视觉检测装备占比 44.09%。公司营业收入增长迅速,2017 年至 2021 年营业总收入由 3.19 亿元增至 12.65 亿元,CAGR 达 41.12%。2022 年公司前三季度营业总收入为 8.03 亿元,同比增长 35.59%。 归母净利润方面,2017 年至 2021 年公司归母净利润由 0.52 亿元增至 1.34 亿元,CAGR 为 26.70%。2022 年三季报显示,公司前三季度归母净利润为 0.30 亿元,同比增长 35.07%。公司一直重视自主创新,以不断提升的技术研发能力来巩固公司的核心竞争力。经过 10 余年的持续研发和深度挖掘,公司在机器视觉核心技术的关键领域获得多项技术突破, 具备了开发机器视觉底层算法、平台软件,以及设计先进视觉传感器和精密驱动控制器 等核心组件的能力。2022 年三季报显示,截止至报告期内,公司研发费用为 1.61 亿元, 同比增长 8.95%,研发费用率为 20.11%。 期间费用率方面,公司期间费用整体较稳定,2022 年三季报数据披露,公司销售、管理、 财务费用分别为 0.96、0.43、-0.03 亿元,销售、管理、财务费用率分别为 15.14%、6.11%、 -1.99%,同比变化-1.02pct、-1.17pct、-1.47pct。公司销售毛利率及净利率水平自 2018 年起开始缓慢下滑,盈利水平有待提升,主要由于公司正处于研发开拓期间,预计未来将所有改善。2022 年三季度末销售毛利率及净利率 分别为 42.93%及 3.70%,同比变动-0.17pct 和-0.01pct,基本维持稳定。3.2 矩子科技——华为、小米等知名企业重要机器视觉设 备供应商公司主营业务为智能设备及组件的研发、生产和销售,主要产品包括机器视觉设备、控制线缆组件、控制单元及设备。产品主要应用于电子信息制造、工业控制、金融电子、 新能源、食品与包装、汽车等多个国民经济重要领域。 从营业收入构成来看,机器视觉设备与控制线缆组件是公司营收的两大重要组成部分。 机器视觉设备历年收入占比分别为 42.78%、43.04%、45.15%、43.15%、47.45%。公司年报显示,在机器视觉检测领域,公司参与全球市场竞争,累计已服务超过 800 家海内外知名客户,成为苹果、华为、小米、OPPO、VIVO 等知名企业或其代工厂商的重要机器视觉设备供应商。公司 2017 年至 2021 年营业总收入由 3.53 亿元增至 5.88 亿元,CAGR 为 13.61%,其中 2021 年同比增长 21.93%,保持稳健增长。截止 2022 年三季报,公司营业总收入为 5.02 亿元,同比增长 22.97%。 归母净利润方面,2017 年至 2021 年由 0.67 亿元变化至 1.01 亿元,CAGR 为 10.81%。2022 年三季报显示,公司前三季度归母净利润为 0.84 亿元,同比下降 2.66%,剔除股份支付费用影响后,归母净利润为 1.09 万元,同比增长 26.05%。公司发展的内在动力主要来自于机器视觉方面领先的技术和不断创新的能力,且公司已经在图像处理算法、光电成像系统等软、硬件方面取得重要成果。目前公司 2D、3D 机 器视觉检测设备的检测速度、检测精度、检出率、漏失率、误判率等关键性能指标已处于国际领先地位。2021 年公司研发费用共投入 0.48 亿元,研发费用率为 8.16%;2022 年 三季报显示,公司研发费用共计 0.52 亿元,同比增长 96.10%,主要由于研发人工费用增加及员工股份激励摊销金额影响所致,预计公司未来研发投入将会持续发力。 期间费用方面,公司控费基本稳定,2022 年三季报披露公司销售、管理、财务费用分别 为 0.13、0.20、-0.02 亿元,销售、管理、财务费用率分别为 2.99%、4.97%、-2.88%,同 比变化-0.24pct、+0.05pct、-2.40pct。2022 年上半年疫情对公司经营活动产生不利影响,且下游企业对于高端产品需求有多变化,公司产品结构随即有所调整,导致公司 2022 年三季度度销售毛利率及净利率下滑, 分别为 32.27%、16.74%,同比变化-3.26pct、-4.06pct。3.3 奥普特——智能制造核心零部件供应商奥普特是一家主要从事机器视觉核心软硬件产品的研发、生产和销售的高新技术企业。 公司定位于智能制造核心零部件供应商,以“打造世界一流视觉企业”为目标,致力于为下游行业实现智能制造提供具有竞争力的产品和解决方案。 公司能够向下游企业提供各种机器视觉解决方案,协助客户在智能装备中实现视觉功能, 提高机器视觉系统的准确性、稳定性和可靠性,从而带动公司产品的销售。公司主要产品包括机器视觉产业链上游的零部件光源、相机、配件、镜头、光源控制器,以及视觉控制系统。其中公司营业收入主要由光源设备占绝大部分比重,2017 年至 2021 年分别为45.87%/45.26%/47.24%/40.34%/34.74%。整体来看,公司产品结构较为稳定,促进生产销售生活稳定发展。公司收入处于稳定增长的趋势中,2017 年至 2021 年营业总收入由 3.03 亿元增至 8.75 亿 元,CAGR 为 30.36%。截止至 2022 年三季报,公司营业总收入为 9.10 亿元,同比增长 41.44%,主要得益于公司在新能源和 3C 电子领域多年的技术客户积累,以及下游行业景气度的提升。 归母净利润方面,2017 年至 2021 年由 0.76 亿元增至 3.03 亿元,CAGR 达 41.30%,2022 年三季报显示,公司前三季度归母净利润为 2.80 亿元,同比增长 28.34%。研发能力是公司在行业内的核心竞争力之一,主要包括机器视觉软硬件的研究以及基于机器视觉解决方案的研究。公司以光源技术、光源控制器技术、镜头技术、视觉分析技 术为核心,并持续在深度学习、3D 处理、图像感知与融合技术等方面进行重点发展。公 司 2022 年三季报显示,截止至最新报告期,当年研发费用共投入 1.39 亿元,同比增长 43.84%,研发费用率为 15.25%,主要由于研发人员增长、研发项目增多及本期增加股份 支付费用。 期间费用方面,公司控费基本稳定,2022 年三季度销售、管理、财务费用分别为 1.53、 0.23、-0.14 亿元,销售、管理、财务费用率分别为 16.85%、2.50%、-1.49%,同比变动+0.95pct、-0.49pct、+1.05pct,其中销售费用率增长是由于销售人员薪酬、差旅费、业务招待费和样品增加所致。由于公司产品结构较为固定,销售毛利率与净利率维持稳定水平,2021 年,销售毛利率及净利率分别为 66.51%和 34.61%;2022 年三季报显示,公司销售毛利率与净利率分别 为 67.07%和 30.73%。报告出品方/作者:长城证券,于夕朦、陈郁双、孙培德;本文仅供参考,不代表我们的任何投资建议。
  • 《Neuron》大脑“看见”不需要用“眼”,因为视觉能够反向输出
    为了更好地观察周围的世界,动物总是在运动。灵长类动物和人类使用复杂的眼球运动来集中视觉(比如人类在阅读时所做的);鸟类、昆虫和啮齿动物通过移动头部来实现同样的效果,甚至可以用这种方式估计距离。然而,这些运动是如何在大脑用来“看见”的神经元的复杂电路中发挥作用的,在很大程度上是未知的。这可能是一个潜在的问题领域,因为科学家们创建了人工神经网络来模拟自动驾驶汽车的视觉工作原理。为了更好地理解运动和视觉之间的关系,哈佛大学的一个研究小组研究了当动物可以自由地自由漫游时,大脑中用来分析图像的主要区域之一发生了什么。周二发表在《Neuron》杂志上的这项研究结果表明,初级视觉皮层的图像处理电路不仅在动物移动时更活跃,而且它们接收来自大脑运动控制区域的信号,该区域独立于处理动物所看到的东西的区域。事实上,研究人员描述了视觉皮层中两组与运动相关的模式,它们是基于头部的运动以及动物是在光明还是黑暗中。这项与运动有关的发现出乎意料,因为视觉往往被认为是一种前馈计算系统,视觉信息通过视网膜进入,在单向运行的神经回路上传播,逐块处理信息。研究人员在这里看到的更多证据表明,视觉系统有更多的反馈组件,其中信息可以以相反的方向传播,这比我们想象的要多。这些结果提供了一个微妙的一瞥,神经活动如何在大脑的感觉区域工作,并重写了教科书中的大脑视觉模型。哈佛医学院神经生物学系博士后研究员、该研究的主要作者Grigori Guitchounts说:“在视觉皮层中看到这种(与运动有关的)信息真的令人惊讶,因为传统上人们认为视觉皮层只处理图像。”“大脑在某种程度上需要协调感知和行动,”Guitchounts说。“你需要知道什么时候感觉输入是由你自己的行为引起的,而不是由世界上其他事物引起的。”在这项研究中,Guitchounts与前分子和细胞生物学系教授David Cox,博士后研究员Steffen B.E.Wolff合作进行了这项研究。这项工作于2017年开始,2019年结束,当时Guitchounts是Cox实验室的研究生。该论文的预印本于1月出版。过去视觉实验的典型设置是这样工作的:给小鼠或猴子等动物注射镇静剂,将它们的头固定在固定的位置,然后给予视觉刺激,比如照片,这样研究人员就可以看到大脑中哪些神经元有反应。这种方法是由哈佛大学的科学家David H. Hubel和Torsten N. Wiesel在20世纪60年代首创的,1981年他们因此获得了诺贝尔医学奖。自那以后,许多实验都遵循了他们的模型,但没有阐明运动是如何影响分析神经元的。在这项最新的实验中,研究人员想探索这一点,于是他们观察了10只小鼠。科学家们把每只鼠放在一个围栏里,这个围栏是它的家的两倍,并连续记录它们的头部运动。通过植入电极,他们测量了小鼠移动时初级视觉皮层的大脑活动。一半的录像是在灯亮的情况下拍摄的。另一半被记录在完全黑暗中。研究人员想比较有视觉输入时和没有视觉输入时视觉皮层的活动。为了确保房间漆黑一片,他们用胶带封住了任何能让光线进来的缝隙,因为老鼠在晚上的视力是出了名的好。数据显示,平均来说,在黑暗中,小鼠运动时视觉皮质的神经元比休息时更活跃。这让研究人员措手不及:在一个漆黑的房间里,没有视觉数据可供处理。这意味着活动来自运动皮层,而不是外部图像。研究小组还注意到,在运动过程中,视觉皮层的神经模式在黑暗和光明中是不同的,这意味着它们没有直接的联系。一些在黑暗中准备激活的神经元在光线下处于一种睡眠模式。研究人员使用机器学习算法对两种模式进行编码。这样他们不仅可以通过观察小鼠视觉皮层的神经活动来判断小鼠头部的运动方式,而且还可以在小鼠移动之前的几百毫秒内预测出这种运动。研究人员证实,这些运动信号来自大脑的运动区域,主要集中在第二运动皮层。他们在几只小鼠身上进行了手术破坏,然后再次进行实验。大脑这一区域受损的小鼠不再在视觉皮层发出信号。然而,研究人员无法确定信号是否来自第二运动皮层。他们说,可能只有在它经过的地方。此外,科学家们指出了他们发现的一些局限性。例如,他们只测量头部的运动,而不测量眼睛的运动。这项研究也以夜间活动的啮齿动物为基础。它们的视觉系统与人类和灵长类动物有相似之处,但复杂性不同。尽管如此,这篇论文增加了新的研究思路,而且这一发现有可能应用于控制机器视觉的神经网络,比如自动驾驶汽车。“这一切都是为了更好地理解视觉是如何工作的,”Guitchounts说。“神经科学正在进入一个新的时代,在这个时代里,我们明白感知和行动是相互交织的循环… … 没有知觉就没有行动,没有行动就没有知觉。我们现在有技术来衡量这一点。”
  • 机器视觉领军企业凌云光科创板上市,拟使用15亿募资投入4个项目
    7月6日,凌云光技术股份有限公司(简称:“凌云光”,股票代码为:“688400”)在上交所A股科创板正式上市。此次发行9000万股,发行价为21.93元,募资总额为19.74亿元;开盘价为33.48元,较发行价上涨52.67%。凌云光成立于2002年,战略聚焦机器视觉业务,已开发出一系列可配置视觉系统和智能视觉设备产品,并自主研发了工业相机、光源等核心器件,在多行业得到广泛应用,服务于苹果、富士康、京东方等多家知名企业。2019-2021年,凌云光分别实现营业收入14.31亿元、17.55亿元和24.36亿元,其间年均复合增长率为30.49%;归母净利润分别为0.37亿元、1.32亿元和1.72亿元,盈利能力持续增强。凌云光预计2022年1-6月可实现的营业收入为11.74亿元至14.35亿元,可实现的扣除非经常性损益后归属于母公司普通股股东净利润为0.56亿元至0.72亿元。凌云光披露的招股书显示,公司原拟募资15.00亿元,分别用于“工业人工智能太湖产业基地”、“工业人工智能算法与软件平台研发项目”、“先进光学与计算成像研发项目”、“科技与发展储备资金”。(一)工业人工智能太湖产业基地该项目以苏州凌云光为主体组织实施,计划在苏州市吴中区新建研产销一体化园区,在江苏省苏州市吴中区新建面向新型显示、印刷包装的智能视觉装备整机产线,以及面向消费电子的可配置视觉系统与智能视觉装备,提高对应产品产能。凌云光拟通过该项目建设在长三角地区的研产销中心,将在公司吴中地区取得地块上建设研发办公楼、生产车间、培训中心与相关管理机构等,并购置研发和生产所需的先进设备,促进研发及生产效率的提升。(二)工业人工智能算法与软件平台研发项目该项目由凌云光实施,实施地点为北京市海淀区 翠湖南环路13号院7号楼知识理性大厦。凌云光拟通过该项目继续加强公司技术优势,包括提高人工智能算法水平、优化低成本硬件平台的视觉处理能力,增强工业软件智能化分析功能,并提升产品的数据挖掘、优化决策、工业知识图谱等技术的工程应用能力,整体提高公司机器视觉技术水平、拓展可应用的工业场景。(三)先进光学与计算成像研发项目该拟由凌云光实施,实施地点为北京市海淀区翠湖南环路13号院7号楼知识理性大厦。凌云光将基于当前光学技术的基础,继续对先进光学成像技术、3D测量/检测系统、计算成像等技术进行研发。一方面提高光学系统的精度、信噪比、动态范围和稳定性,另一方面提高三维信息的识别与成像能力。(四)科技与发展储备资金凌云光表示,未来随着公司业务规模扩大、产能提升以及持续性的技术研发,公司对营运资金的需求进一步上升,因此公司拟利用募集资金中的40,000万元作为科技与发展储备资金。
  • 光鉴科技完成2亿元B轮融资,推进3D视觉技术多领域落地应用
    近日,3D传感公司光鉴科技完成2亿元人民币B轮融资。本轮投资方为中金资本、一村淞灵、重庆科兴等,融资资金将用于业务拓展。光鉴科技成立5年完成总计5亿元人民币融资。融资历程上,光鉴科技于2018年连获天使轮及Pre-A轮融资,均为数百万美元;2019年,完成由双湖资本及软银中国共同领投的1500万美元A轮融资;2020年,完成2000万美元A+轮融资;2021年,完成数千万人民币A++轮融资。光鉴科技提出“光学+感知+计算”模式,为各行业提供软硬一体的视觉交互及感知方案,此前已实现首款消费级纳米光子芯片量产发布、合作推出首款屏下3D手机等。光鉴科技产品根据现有的生物识别、人机交互、机器视觉等多个业务方向,光鉴科技在移动支付、消费电子、智能座舱、移动机器人等多个领域取得进展,过去两年间营收持续实现数倍增长,并于2023年四季度正式实现盈利。2023年,光鉴科技的生物识别支付业务取得重要突破。在这一业务上,光鉴科技与微信支付合作,于2021年推出小型刷脸支付模组,率先应用于微信刷脸支付场景;2023年为微信支付推出的刷掌支付提供了视觉感知方案,在交通、零售等多个场景推广。“(掌纹识别)核心在于产品的用户体验,即能否流畅地实现识别。”光鉴科技创始人朱力表示。对此,光鉴科技利用团队在光学成像、图像信息处理等方面优势,通过血管散射成像呈现手掌经脉,且根据手掌与设备的不同距离迅速调整红外光亮度,能够在毫秒级时间内清晰获得皮下血管等图像信息。生物识别之外,光鉴科技同样注重产品及技术在移动机器人领域的应用。面对这一玩家更多、技术方案更成熟的市场,光鉴科技选择发力垂直品类的创新方案,目前已与国内头部商用机器人及扫地机器人厂商达成合作。以扫地机器人为例,其通常需要两套视觉系统,分别完成远距离导航定位及近距离识别避障等功能,同时意味着需要布局多个传感器。对此,光鉴科技自研的sToF技术融合3D结构光及ToF能力,叠加相应算法,能够仅凭单一模组实现近距离超高精度和中远距离的高精度3D成像。同时,光鉴科技在智能汽车及消费电子等领域均有布局。智能汽车方面,光鉴科技已与多个行业领先的车企达成战略合作,发布车规级ToF深度相机,共研智能座舱3D视觉方案;消费电子领域,光鉴科技与头部手机厂商合作研发,结合既有技术能力,推出首款屏下3D智能手机以及柔性OLED屏下3D概念手机。团队方面,光鉴科技核心创始团队拥有光电、3D视觉、芯片等领域丰富开发经验,研发人员占比80%以上,拥有数百项专利。公司三位创始人分别为美国加州大学伯克利分校及斯坦福大学博士,本科毕业于清华大学,曾于苹果、甲骨文等国际知名公司任职,在光电及算法领域拥有丰富经验。
  • 赋能智能制造 机器视觉产业有多大的想象空间?
    ul class=" list-paddingleft-2" style="list-style-type: disc "lih3强强联合! 光电子博览会牵手机器视觉产业联盟/h3/li/ulp style="text-align: justify "  2019年8月5-7日,第十一届光电子· 中国博览会暨“适用于航空航天领域的机器视觉产品供需对接会”将在北京国家会议中心盛大启幕。该展会由中国光学工程学会“牵手”中国机器视觉产业联盟共同举办,强强联合实现资源共享。会议将聚集数百家机器视觉生产企业携新品参加,将为您呈现一场盛大的机器视觉技术盛宴。/pp style="text-align: justify "  机器视觉就是用机器代替人眼来做测量和判断,因此备受欢迎。纵观我国产业发展历程,机器视觉相关产业起步较晚,超过50%的市场份额来源于电子及半导体行业。另外,机器视觉在包装行业、玻璃生产与加工、电子元器件及设备、钢铁与金属业、光学与精密工程、汽车、印刷、航空航天等行业需求大幅增长,也同时带来包括机器视觉在内的自动化产品的需求增长。/pp style="text-align: center"img style="max-width: 100% max-height: 100% width: 477px height: 459px " src="https://img1.17img.cn/17img/images/201907/uepic/89fc9092-ca59-4873-aa1f-720ea1fb54ec.jpg" title="2.jpg" alt="2.jpg" width="477" height="459"//pp  本届展览会将通过学术交流会、供需对接会等多样化的特色会议形式与展览模式,链动人工智能、智慧城市、大数据、机器人等资源配套,全方位展示机器深度学习、机器视觉集成系统、集成设备、3D视觉、VR技术、人脸识别等高端机器视觉相关产品,引领中国机器视觉发展潮流,促进中国智能化水平迈上新台阶。/pul class=" list-paddingleft-2" style="list-style-type: disc "lih3独具“慧眼”,助力航天航空场景应用/h3/li/ulp  机器视觉是工业机器人的感知系统,通常由光源、镜头、工业相机、图像采集卡、处理器控制器等零部件组成,用来对图像进行识别、储存和处理,而安装了“眼睛”的机器人,能够完成图像识别、图像检测、视觉定位、物体测量、物体分拣等功能。/pp  近年来,我国的制造业加快升级,各种加工工序精密度提高,同时企业普遍追求更高的良品率,在切割、焊接、钻孔、成型、塑模、去除、装配等主要的工艺中,都陆续增加机器视觉的辅助功能,因此带动我国机器视觉市场高速增长,中国正成为世界机器视觉发展最活跃的地区之一。数据显示,2018年中国机器视觉市场规模首次超过100亿元。随着行业技术提升、产品应用领域更广泛,未来机器视觉市场将进一步扩大,预计2019年市场规模将近125亿元。/pp style="text-align: center"img style="max-width:100% max-height:100% " src="https://img1.17img.cn/17img/images/201907/uepic/fbeb8483-75c0-4705-ae21-3cca37043eee.jpg" title="3.jpg" alt="3.jpg"//pp  机器视觉的作用主要体现在智能识别和精密检测,在智慧医疗、精密加工制造等领域具备重要作用,在无人驾驶、航空航天领域里也常常能看到其身影。第十一届光电子· 中国博览会暨机器视觉产业对接会则将重点聚焦其在航天航空领域的应用。/pp  航空航天产品制造具有尺寸大、结构复杂、性能指标精度高、载荷重、环境洁净度高以及材料特殊等特点,在材料抗高温、抗高压和抗气流等都有特殊要求,而且无论是民航客机还是外太空航天器,每一个组装部件都是超精密的。一旦出现事故将造成较大的安全事故,例如不久前的一架埃航的737客机坠毁,事件起因是一个零部件异常。/pp style="text-align: center"img style="max-width:100% max-height:100% " src="https://img1.17img.cn/17img/images/201907/uepic/e8790585-588f-4ef6-a673-98da4774fc87.jpg" title="4.jpg" alt="4.jpg"//pp  机器视觉系统最基本的特点就是提高生产的灵活性和准确度,能及时发现误差,大大降低不良率,军事、航天等领域等军利用了机器视觉相关技术。在装备了机器视觉成套系统后,航空航天产品在制造过程成型中,每一个工序得到实时监控,每一个工艺得到检测并反馈,对出现误差的效果实行视觉追踪。在一些不适于人工作业的环境或者人工视觉难以满足要求的场合,常用机器视觉来替代人工视觉。还有无人驾驶汽车、月球勘探机器人等都是可以采用上机器视觉技术。/pp style="text-align: center"img style="max-width: 100% max-height: 100% width: 486px height: 324px " src="https://img1.17img.cn/17img/images/201907/uepic/5c0f1b72-c83f-405a-89ce-8bab343cc53e.jpg" title="5.jpg" alt="5.jpg" width="486" height="324"//pul class=" list-paddingleft-2" style="list-style-type: disc "lih3产业需求加码释放 机器视觉精彩不断/h3/li/ulp  工业4.0离不开智能制造,智能制造离不开机器视觉。未来,随着3C、航天航空等领域的需求不断释放,行业内上游及配套企业不断加大对机器视觉新产品的研发及投入,更多企业将纷纷抢占布局高端机器视觉市场。/pp  发力智慧未来,助力中国智能制造步伐!2019年机器视觉北京展览会期间,各行各业领域的机器视觉综合服务商将齐聚一堂,他们将带给我们怎样的惊喜和经验?诠释怎样硬核的新科技?中国光学工程学会特联合机器视觉产业联盟,将于2019年8月5日-7日第十一届光电子· 中国博览会盛大召开期间,特别举办“适用于航空航天领域的机器视觉产品供需对接会”。/pp style="text-align: center"img style="max-width: 100% max-height: 100% width: 599px height: 353px " src="https://img1.17img.cn/17img/images/201907/uepic/1141138d-76ef-4185-8d77-092b33366c39.jpg" title="1.png" alt="1.png" width="599" height="353"//pp  作为国内规模较大的国际机器视觉产业盛会,我们将期待通过光电子博览会,展示机器视觉从核心部件到系统集成全产业链,让整个行业的资源彼此链接,相互赋能,为中国智造贡献自身最大的力量。“机器视觉产品供需对接会”将是机器视觉进入光电子博览会的一小步,诚邀您八月相聚北京国家会议中心!/ppbr//pp  strong联系方式/strong/ppstrong  机器视觉产品供需对接会组委会/strong/pp  联系人:徐晓丹 010-62650570-804/pp  联系邮箱:xxd@china-image.cn/pp  strong光电子博览会组委会/strong/pp  服务热线: 010-83739883/pp  展会网址:http://www.cipeasia.com//pp  宣传合作: 010-83739885/pp  联系邮箱:zhanjiahe@csoe.org.cn/ppbr//p
  • 专家谈工业机器视觉与摄影测量技术及应用
    随着现代工业的发展和进步,特别是在一些高精度加工产业,传统的检测手段已远远不能满足生产的需要。机器视觉测量技术是一种基于光学成像、数字图像处理、计算机图形学的无接触的测量方式,测量范围更广,测量精度和效率更高,成为先进制造中的宠儿。机器视觉系统核心功能包括识别、测量、定位、检测等,能够自动测量产品的外观尺寸,比如外形轮廓、孔径、高度、面积等尺寸的测量;还可用于外观缺陷检测,例如汽车零部件、新能源动力电池表面缺陷检测等。据了解,全球机器视觉市场规模约122亿美元,国内机器视觉市场规模约164亿元;中国正成为世界机器视觉发展最活跃的地区之一,应用范围几乎涵盖国民经济各个领域,其中工业领域是机器视觉应用比重最大的领域。为帮助广大工业用户了解国内机器视觉检测技术发展与应用现状,仪器信息网将于2022年10月20-21日举办首届“精密测量与先进制造”主题网络研讨会,特邀天津大学精密仪器及光电子工程学院邾继贵院长、合肥工业大学卢荣胜教授分享主题报告。点击图片直达会议页面天津大学精密仪器及光电子工程学院 邾继贵院长《工业视觉技术进展及装备应用》(点击报名)邾继贵,博士,天津大学教授,博士生导师,国家杰出青年基金获得者,教育部长江学者特聘教授,精密测试技术及仪器国家重点实验室主任。 一直从事计量测试技术及仪器专业的科研教学工作,创新性地研究了基于激光技术、计算机视觉和精密测量理论的新型测量原理、方法及其工程应用,在流水线制造在线测量、大型装备制造现场测量领域研发了高性能测量系统及装备,成功解决了一些重点行业领域内测量新难题。 获得国家技术发明二等奖2项、教育部技术发明一等奖1项、天津市科技进步特等奖1项、天津市技术发明一等奖1项,发表学术论文100余篇。报告摘要:视觉信息作为一种大容量、高冗余的信息类型在工业制造领域发挥着重要作用。视觉检测技术是实现制造过程在线测量的最重要方法,随着制造工艺技术的不断发展,在线测量参数类型愈加丰富,测量精度不断提升,视觉检测技术也在不断演化发展过程中。报告分析了视觉检测新技术方法及趋势,结合汽车制造新工艺需求,展示了最新的工业视觉检测装备及其体系化应用。合肥工业大学 卢荣胜教授《视觉在线测量与检测技术》(点击报名)卢荣胜,博士,合肥工业大学教授,博士生导师,获国务院政府特殊津贴专家称号。现任无锡维度机器视觉产业技术研究院院长、董事长,安徽省计量测试学会理事长。1998年获合肥工业大学精密仪器专业博士学位,1998-2000天津大学精密测试技术与仪器国家重点实验室博士后流动站博士后,三维机器视觉技术研究。2001-2006年在香港城市大学、英国Imperial College London、University of Huddersfield从事机器视觉与光学测量技术研究工作。2006年5月回合肥工业大学任教。主要研究方向:机器视觉与光学精密测量技术。主持国家重大科学仪器应用与开发专项、重点研发计划、国家科技支撑计划、国家863专项、国家自然科学基金等项目10余项。已表发表论文200余篇,专著2本,获发明专利20余项,培养硕士和博士研究生100余人。报告摘要:机器视觉在线测量与检测技术在先进制造领域具有广阔的应用前景。在先进制造过程中,机器视觉技术能够取代人工,快速高效地执行测量、检测、识别、定位与引导等任务,如对产线上的零部件进行视觉定位,实现产品外形轮廓三维测量和表面缺陷检测,字符、条码读取,产品分类和分组,引导机械手进行无序抓取、焊接、装配、码垛和拆垛等。 本报告以先进制造领域产品零部件在线三维测量与缺陷检测为应用背景,系统性地介绍视觉在线测量与检测技术的基本原理、系统组成架构、系统集成中的共性关键技术,如视觉照明、高分辨率成像、分布式并行图像处理等技术。并以外观缺陷在线检测和三维视觉引导机械手无序抓取为例,阐述机器视觉在线测量与检测技术的实现过程。 报告还展示了近十几年来,我们在国家重大科学仪器设备开发与应用专项、国家重点研发计划等项目的资助下的研究与开发成果。此外,摄影测量是一门通过分析记录在胶片或电子载体上的影像来确定被测物体的位置、外形和尺寸的科学,属于测绘学的分支学科。数字摄影测量能在较短时间内获得被测物体关键点的三维信息,从而实现物体的三维数字化建模,尤其适用于大型繁杂工件的三维检测,具有非接触、自动处理等特点,为传统工业测量提供了新方法和新技术,尤其是在智能化、自动化发展的大趋势下,应用前景越来越广阔。本届“精密测量与先进制造”主题网络研讨会特邀武汉大学郑顺义分享《工业摄影测量技术研究及应用》主题报告。武汉大学 郑顺义教授《工业摄影测量技术研究及应用》(点击报名)郑顺义,工学博士,二级教授,博士生导师。任职于武汉大学遥感学院,长期从事数字摄影测量、计算机视觉、虚拟现实等方面研究,成果突出。授权专利100多项,发表论文120多篇,指导博士硕士研究生100多人。先后获得国家测绘科技进步奖一等奖,美国摄影测量与遥感协会戴维森主席奖和波音奖等奖励。报告摘要:在制造业朝着自动化、柔性化、智能化发展的潮流中,传统的工业测量技术难以同时胜任高精度、高效率、高便捷性的要求,本报告提出以工业摄影测量技术为基础的测量系统,其具有实时性、便捷性、自动化和智能化的特点,获取的高质量的三维数据,可用于逆向工程、质量检测、辅助智能制造等典型工业应用场景。同时介绍了该测量系统的技术路线,从硬件设计、算法优化等方面提出了见解。扫码报名抢位指导单位:中国计量测试学会主办单位:仪器信息网协办单位:上海大学会议日程报告时间报告主题报告人单位职务10月20日上午09:30-10:00工业视觉技术进展及装备应用邾继贵天津大学精密仪器及光电子工程学院院长10:00-10:30激光跟踪仪精密测量技术与应用周维虎中国科学院微电子研究所主任/研究员10:30-11:00激光回馈精密测量技术新进展张书练清华大学教授11:00-11:30待定胡鹏程哈尔滨工业大学长聘教授10月20日下午14:00-14:3020年来齿轮测量技术的发展石照耀北京工业大学长江学者特聘教授14:30-15:00基于波长移相技术的光学平行平板轮廓和厚度信息测量技术于瀛洁上海大学机电工程与自动化学院院长15:00-15:30视觉在线测量与检测技术卢荣胜合肥工业大学教授15:30-16:00面向智能制造的全过程、全样本、全场景测量李明上海大学教授10月21日上午09:00-09:30工业摄影测量技术研究及应用郑顺义武汉大学教授09:30-10:00装备空间运动误差被动跟踪测量方法与仪器娄志峰大连理工大学副教授10:00-10:30差分珐珀激光干涉微位移计量及应用研究崔建军中国计量科学研究院课题组长/副研究员10:30-11:00面向先进制造过程的在线计量技术研究赵子越中国航空工业集团公司北京长城计量测试技术研究所高级工程师
  • 皖仪打造全新视觉形象识别系统
    11月1日,安徽皖仪科技股份有限公司新VIS(企业视觉形象识别系统)正式对外发布:  旧logo(已停用)   正式更改为     新logo以皖仪英文WAYEE为主要设计元素。是WAY(英文原意为道路,这里特指皖仪的科技之路)、Electron(电子)和 Ecology(生态环保)的综合体,后两个”E”代表了皖仪的主营发展方向。另,”EE”更是Excellent(卓越优秀)和Eqilibriun(平衡和谐)的综合体,寓意公司有优秀的人才,卓越的产品性能以及和谐的发展理念。  新VI的启用,有利于精细与延升皖仪形象,提升品牌竞争力 有利于规范形象使用,构建皖仪的品牌模式:有利于重新树立企业文化,凝聚团队向心力;有利于促进社会公众认同,统一公众形象 有利于突出差别性和识别性,提高竞争力。          VIS(Visual Identity)通译为视觉形象识别系统,是CIS系统中最具传播力和感染力的层面。 它是指在企业经营理念的指导下,利用平面设计等手法将企业的内在气质和市场定位视觉化、形象化,是企业作为独立法人的社会存在与其周围的经营及生存的经济环境和社会环境相互区别、联系和沟通的最直接和常用的信息平台。公司从2010年4月开始着手企业VIS的规范与新形象的设计,公司新logo于今年8月定稿,全套VIS设计规范于今年10月底全部完成并在全公司内投入使用。公司VIS系统详细规范了企业标志制作与运用规范、企业专用字体制作与运用规范、企业标准色与辅助图形制作与运用规范,各种组合制作与运用规范,以及在企业办公用品、公共关系赠品、员工服饰、标识符号指示、商品包装、广告宣传等方面的运用规范与示例。自本月起,公司将根据VIS标准逐步规范所有视觉载体的运用,VIS系统的规范运用将更有利于公司企业文化的建设与推广,打造优秀品牌形象。
  • 【新品发布】芬兰SPECIM高光谱工业在线分选系统-SpecimONE重磅面世
    2020年10月28日,芬兰SPECIM(Spectral Imaging Ltd.)公司正式发布其款高光谱工业在线分选系统-SpecimONE。SpecimONE是一种用于工业分选的高光谱成像系统,它的发布彻底革新了SPECIM高光谱成像技术在中国工业分选等机器视觉领域的适应性。 高光谱工业在线分选系统-SpecimONE将工业高光谱相机FX系列、离线建模软件和强大的图像处理单元集成于一体,可实时输出结果,用户在没有深入了解光谱成像技术或编程技术的情况下,也可获得终结果,显著降低了应用门槛,是工业实时在线分选、产品质量在线检测、生产过程监控等工业机器视觉领域的研究利器。高光谱工业在线分选系统-SpecimONE的特性: ● 提供完整的解决方案,助力工业用户缩短其高光谱分选设备的上市时间 ● 与主流工业标准相兼容,与机器视觉系统(如Halcon,Sherlock)无缝集成 ● 强大而快速的分类算法:PLS-DA、PCA、SAM,并支持MROI,适用于多样的工业机器视觉在线分选应用领域 ● Specim的专有平台确保Specim FX系列高光谱相机、建模和实时检测软件、高效的数据处理单元之间完全兼容并高效运行 ● 支持Specim FX10(400-1000 nm)、Specim FX17(900-1700 nm)、Specim FX50(2.7-5.3 μm)等多种型号的高光谱相机 高光谱工业在线分选系统-SpecimONE系统组成: ● SpecimINSIGHT离线建模软件,为工业分选应用建立分类模型 ● 强大的图像处理单元SpecimCUBE,实时运行分类模型 ● Specim FX系列工业高光谱相机高光谱工业在线分选系统-SpecimONE系统模块解析:1. SpecimINSIGHT离线建模软件SpecimINSIGHT是一种离线建模软件,允许用户查看和分析高光谱数据、创建分类模型、验证分类模型的有效性以及显示分类结果。离线分类模型创建过程简单易用,并可以转换为实时在线使用。 SpecimINSIGHT的功能: ● 数据分析 ● 分类模型训练 ● 模型创建和验证 SpecimINSIGHT当前的功能聚焦于工业分选行业的需求: ● 强大而快速的分类算法PLS-DA,并支持MROI功能,以发挥SPECIM FX系列相机的高行频(高可达15KHZ)这一优势 ● 支持Specim FX10、Specim FX17、Specim FX50等多种型号的高光谱相机 2. 图像处理单元SpecimCUBE数据处理单元 ● SpecimCUBE是一个高性能处理平台,可实时运行Insight所创建的分类模型。它基于Nvidia开发的片上系统Xavier,并包含优化的软件,可满足工业对吞吐量、延迟和抖动的要求。 ● SpecimCUBE接收来自Specim FX高光谱相机采集的数据,并基于分类模型对数据进行实时处理。分选结果通过GigE Vision传输到目标系统(分选设备,已有的机器视觉系统)。 ● Specim Cube可以灵活地切换和运行不同的模型,从而为实时分选应用提供出色的性能。 ● SpecimCUBE当前仅与Specim FX系列CameraLink相机兼容。 3. SPECIM FX系列工业高光谱相机 ● Specim FX系列高光谱相机是专门为工业用途设计的高速相机。相机的高帧频可满足工业对速度的高要求,坚固的结构和小巧的尺寸可实现灵活的工业安装场景。 ● Specim FX系列工业高光谱相机可提供准确的光谱信息以检测和分类各种材料,非接触式、非破坏性光学方法对目标材料的全表面进行成像,其采集的数据被实时发送到SpecimCUBE进行进一步处理。● 光谱范围覆盖广泛:FX10(400-1000nm)FX17(900-1700nm)、FX50(2.7-5.3um) ● 优越的数据质量:高信噪比及高灵敏度 ● 高帧频:可达15KH ● 数据一致性高:方便更新替换 高光谱工业在线分选系统-SpecimONE应用领域工业在线分选软件SpecimONE及SPECIM FX系列工业高光谱相机,现广泛应用于垃圾分类、黑色塑料分选、食品检测、工业分选、医学制药、农业、文物保护、刑侦检测、环境监测等机器视觉检测领域。 作为芬兰Specim公司在中国的官方代理商,Quantum Design中国子公司为工业机器视觉系统集成商提供完整的高光谱成像解决方案,助力工业用户大幅度缩短光谱设备推向市场的时间。
  • 浅谈视觉坐标测量系统(CMM)发展及应用
    一、CMM简介CMM是坐标测量机(Coordinate Measuring Machine)的简称,俗称“三坐标”,最早于50年代由欧洲人发明,知名厂商包括海克斯康和蔡司等,起初用于军工领域,随后广泛应用于各类制造型企业。国内生产三坐标的厂家包括思瑞、雷顿、爱德华等。 图1 坐标测量机(CMM)示例初代CMM由花岗岩平台、精密光栅尺、运动控制系统等部件组成,精度可达到1~3um级别,但是它对环境温度的要求较高,且特别笨重。人们为了测量更加便捷,之后又发明了关节臂CMM、激光CMM、视觉CMM三个品类的坐标测量机。关节臂CMM是由六轴或七轴关节组成,在关节处有高精度旋转编码器可测量关节的角度,精度可达到20~50um级别,重量较轻,对环境温度的要求不像三坐标那么高。但它的测量范围受限于机械臂的臂长,臂越长精度越低。图2 关节臂CMM示例激光CMM是指激光跟踪仪,由激光干涉测距模块、高精度旋转编码器、运动控制模块、全反射靶球等组成,高端设备甚至还集成了视觉定姿模块,精度可达到15um+6um/m,测量范围可达100m左右。 图3 激光跟踪仪示例(中间是激光反射靶球)视觉CMM主要由高分辨率相机和光笔组成,其中相机用于跟踪定位,而光笔又由标志点、探针组成。这类设备的重量最轻,使用时最为灵活省力,精度通常能达到20~50um级别。视觉CMM的分类、发展和应用,将在下文中详述。 图4 视觉CMM示例(跟踪器和光笔)二、视觉CMM的发展视觉CMM是基于数字摄影测量和计算机视觉原理的坐标测量仪器,该领域的学者把相机抽象成一个小孔成像设备,利用“共线方程”这一基本原理,推导出了相机标定、前方交会、后方交会、相对定向、绝对定向、极线对应等解析法理论,表述的是“物-像”几何关系。在视觉CMM中,被观测的目标(光笔)通常是一组标志点,可以是玻璃微珠反光材料的,也可以是LED自发光的,从原理上标志点的数量至少应为3个,但为了更好的精度和可靠性,厂家通常会设计10个左右的标志点。标志点的三维坐标是事先测定过的已知值,相机对标志点进行拍照,得到标志点的成像,利用“物-像”几何关系求解被观测目标(光笔)的位置和姿态。视觉CMM根据相机的数量和使用方式的不同,可以分为单目跟踪CMM、双目跟踪CMM、单目反向定位CMM、单目主动跟踪CMM四种类型,下文逐一介绍。 图5 不同位置下光笔的成像图6 单目跟踪和双目跟踪原理示意图2.1 单目跟踪CMM单目CMM是利用单个相机对被观测目标(光笔)进行跟踪定位,其原理在摄影测量中称为单片空间后方交会,测量精度与相机分辨率、拍摄距离远近、目标的尺寸大小等因素有关。为了保证足够的测量精度,如图6所示,被跟踪的目标张角需要足够大,因此其配套使用的光笔的尺寸一般都很大(图7)。 图7 单目跟踪视觉CMM示例2.2 双目跟踪CMM双目CMM是利用两个相机对被观测目标(光笔)进行跟踪定位,其原理在摄影测量中称为前方交会和绝对定向。虽然市面上也有三个相机以上的跟踪系统,但其原理等同于两个相机。如图6所示,双目CMM不需要大的张角,它只需要较大的夹角,因此其配套的光笔尺寸可以比较小,更加有利于手持使用。 图8 双目跟踪视觉CMM示例2.3 单目反向定位CMM单目反向定位CMM的跟踪原理与单目跟踪CMM类似,但是其探针的安装位置是在相机上,而不是在被测目标(标志点载体)上。这样做的优势是,标志点载体不需要移动,可以把它做的非常大,并且可以把标志点的数量做的非常多,来提升跟踪定位的精度。标志点数量增多对软件的计算能力要求也更高,这是一种新颖的CMM设备。在国内由中观最早提出了这一独创性的产品设计,并诞生了代表性产品——MarvelProbe便携式反向定位CMM,它可以借助固定墙体或便携支架上的标志点,灵活进行反向定位,实现接触式测量功能,同时还兼具独立的摄影测量功能。图9 单目反向定位CMM示例2.4 单目主动跟踪CMM单目主动跟踪CMM,是指相机是活动的,它的相机视场角非常小,且相机会在电机的带动下主动跟踪目标的位置。它不同于激光跟踪仪的特征是没有激光反射靶球。 图10 单目主动跟踪CMM示例三、视觉CMM的应用视觉CMM的特点是轻便灵活,测量范围较大,精度可满足亚毫米级别的需求,在诸如汽车制造、骨科手术等领域有较为广泛的应用。另外,视觉CMM单点测量的精度较高,结合三维扫描仪配套使用,可以提升三维扫描的基准对齐精度,这种做法在三维检测中也较为常见。3.1 汽车制造在汽车制造的装配环节之前,对孔、槽、形面以及缝隙等特征进行检测,是保证顺利装配的前提。图11 视觉CMM对汽车白车身、汽车零部件进行检测3.2 骨科手术传统的骨科手术靠医生的主观判断来确定操刀的位置,而现代手术机器人依靠双目跟踪CMM来实现对骨骼、手术器械的精准定位,降低手术风险。图12 视觉CMM用于骨科手术的引导3.3 结合三维扫描使用三维扫描可以获得形面特征的高密度连续的三维数据,但是对一些边界特征(如孔槽)难以实现完整、精确的测量。而视觉CMM恰好适合对关键特征进行高精度测量。图13 视觉CMM结合三维扫描使用四、结语视觉CMM的优缺点是较为明显的,其优点是手持端的重量较轻,操作更为灵活,测量范围也较大,不受机械运动范围的限制,对环境的要求也较低,另外,视觉CMM的价格通常也较低。其缺点是测量精度不如三坐标和激光跟踪仪,在未来随着相机分辨率的不断提升,视觉CMM的精度还有一定的改进空间。(武汉中观自动化科技有限公司王晓南供稿)
  • Teledyne FLIR和法雷奥就汽车安全系统热成像达成协议
    近日,法雷奥(Valeo)和Teledyne FLIR公司开始战略合作,将热成像技术引入汽车行业,以提高道路使用者的安全。双方已于2023年底从一家全球领先的汽车OEM获得了一份重要合同,交付其作为新一代高级驾驶员辅助系统(ADAS)驾驶员辅助技术的新型热像仪,以提高车辆和道路安全。图片来源:法雷奥法雷奥和Teledyne FLIR将推出首款用于夜视ADAS的ASILB级热成像技术。该系统将补充法雷奥的各种传感器,并依靠法雷奥的ADAS软件堆栈来支持乘用车、商用车以及自动驾驶汽车的夜间自动紧急制动(AEB)等功能。法雷奥与热成像技术公司Teledyne FLIR强强联手,打造下一代汽车安全多光谱传感器融合系统。法雷奥将利用其在汽车视觉系统方面的丰富专业知识,集成Teledyne FLIR热视觉技术,并为OEM提供完整的夜视解决方案,包括基于法雷奥人工智能和图形可视化堆栈的感知软件。图片来源:法雷奥“法雷奥拥有市场上最广泛的感知解决方案组合,我们期待与Teledyne FLIR合作,将热成像技术添加到我们的产品中,”法雷奥舒适和驾驶辅助总裁Marc Vrecko表示。“这款新摄像头及其感知软件将补充我们的产品,并提高ADAS和自动驾驶车辆系统的整体性能,为道路使用者带来更多安全,尤其是在夜间。”Teledyne FLIR副总裁兼总经理Paul Clayton表示:“从售后驾驶员辅助技术到自动驾驶机器人出租车,Teledyne FLIR在开发热成像并将其融入汽车安全系统方面不断取得巨大进步。我们与法雷奥的合作使我们能够使热成像技术广泛应用于从乘用车到半挂卡车的交通运输中,让更多的驾驶员和自动车辆安全系统能够在完全黑暗、杂乱的环境和其他现有传感器无法看到的恶劣天气下看清东西。”
  • 西班牙公司创建新型ANPR系统,严密监控车辆交通状况!
    智能车牌识别随着人们经济、生活水平的提高,民用汽车数量骤增,因此对汽车的管理就变得很重要。目前,自动车牌号码识别 (ANPR) 系统已被广泛应用,这样就有助于执法机构对公路上的交通状况进行控制和管理。今天,小菲就给大家介绍一款新型ANPR系统——Traffic Eye,它是总部位于西班牙马德里的Lector Vision引入创建的。机器视觉相机在ANPR系统中的应用Lector Vision是一家硬件和软件开发公司,专注于机器视觉系统,即自动车牌读取。其凭借在ITS、停车场、访问控制、视频监控和机器视觉领域的广泛技术和商业经验,为交通管理、访问控制车辆、停车场管理以及其他安全运营和物流领域开发产品系列提供解决方案。这款新型自动车牌号码识别 (ANPR) 系统将现成硬件与由Lector Vision设计和开发的定制硬件相结合,同时结合该公司自身的OCR软件引擎,实现了一种高度灵活的系统,可快速定制用于识别世界上任何一个国家/地区的车牌。Traffic Eye系统本身采用脉冲红外光照亮交通场景,同时使用两台单独的相机捕获车辆的黑白图像和场景的整体图像。这两种图像随后通过GigE接口传送到Traffic Eye系统中的一个嵌入式四核处理器。在这里,运行在处理器上的定制软件将对单色图像进行分析,以确定图像中车牌上的字符。 为此,软件首先在图像中车牌可能存在的地方搜索相关矩形区域。然后,对相关区域执行边缘检测运算,通过在图像中检测亮度的不连续性,找到车牌上字符的边界。在图像中确定了车牌上的字符位置后,该系统接下来就要识别个别的字符了。为此,Lector Vision 选择部署一个基于软件的人工神经网络,用以识别车牌上的字符。随后,将车牌号码和场景整体色彩关联在一起,通过线缆、光纤、GPRS或3G网络传送到控制中心,传输方式根据实际应用情况而定。ANPR系统中机器视觉相机的选择Lector Vision研发经理Gonzalo Garcia Palacios表示,机器视觉相机在车牌识别过程中发挥着重要作用,因为该系统的整体性能高度依赖于所捕获到的图像质量。Traffic Eye系统的一台相机是FLIR Blackfly GigE单色相机,配备了Sony Pregius IMX249 CMOS全局快门传感器和一个红外滤波器,分辨率为1920 × 1200 像素。该相机用于捕获由系统软件进行分析,以确定车辆车牌的图像。第二台相机是FLIR Blackfly GigE彩色相机,配备了Sony IMX249 CMOS传感器,像素为1920 × 1200像素,该相机用于捕获场景的整体图像。配备了不同CMOS传感器的各个相机可以很容易地变化,以更好地满足应用需求,例如单车道或多车道(最多同时出现三个车道)ANPR设备、闯红灯执法和行驶超速执法等。FLIR Blackfly GigE相机自2013年推出以来便广泛应用于Traffic Eye系统中,但该系统中使用的模块化性质处理器和控制硬件板导致该公司有多个相机接口。Palacios表示,当系统需要更高的分辨率时,相对简单直接的做法是先选择一台具有合适传感器的相机,然后再决定是选择GigE接口还是具有更高带宽的USB3接口。新型ANPR系统对企业的帮助Palacios表示,Traffic Eye系统自2013年推出到现在,其安装量已经超过了500套,这证明了该系统能够读取行驶速度超过200公里/小时车辆的车牌。除了在西班牙广泛部署外,这些系统在安道尔、哥伦比亚、智利、波兰、斯洛伐克、秘鲁、阿尔及利亚和墨西哥等地也颇受青睐。此外,自2003年以来,该公司还向其他感兴趣的用户出售了700多套访问控制设备,以及作为单独软件产品出售的OCR识别软件。今年,Lector Vision计划为该系统进行升级,以便它能够同时检测高速公路三个以上车道的交通状况。进一步改进该系统,使它不仅能够读取车牌,而且还能检测公路上的许多其他类型的事件,例如在公路上朝着错误方向行驶的交通状况以及车祸等。
  • 上海微系统所新原理开关器件成果获2022年度中国科学十大进展
    3月17日,科技部高技术研究发展中心(基础研究管理中心)发布2022年度中国科学十大进展。中科院上海微系统所宋志棠、朱敏团队的“新原理开关器件为高性能海量存储提供新方案”脱颖而出,荣获2022年度中国科学十大进展(图1)。中国科学十大进展遴选活动由科技部高技术研究发展中心牵头举办,其遴选程序分为推荐、初选和终选3个环节。终选阶段,中国科学院院士、中国工程院院士、国家重点实验室主任等3500余位知名专家学者对30项候选科学进展进行网上投票,最终,得票数排名前10位的入选。图1 新原理开关器件成果荣获2022年度中国科学十大进展高密度与海量存储是大数据时代信息技术与数字经济发展的关键瓶颈。中国科学院上海微系统与信息技术研究所宋志棠、朱敏团队发明了一种新型基于单质碲和氮化钛电极界面效应的开关器件(图2),充分发挥纳米尺度二维限定性结构中碲熔融—结晶速度快、功耗低的独特优势,“开态”碲处于熔融状态是类金属、和氮化钛电极形成欧姆接触,提供强大的电流驱动能力,“关态”半导体单质碲和氮化钛电极形成肖特基势垒,彻底夹断电流。该晶-液态转变的新型开关器件,组分简单,可克服双向阈值开关(OTS)复杂组分导致成分偏析问题;工艺与CMOS兼容且可极度微缩,易实现海量三维集成;开关综合性能优异,驱动电流达到11 MA/cm2,疲劳108次以上,开关速度~15ns,尤其碲原子不丢失情况下开关寿命可大幅提升。该研究突破为我国发展海量存储和近存计算,在大数据时代参与国际竞争提供了新的技术方案。该成果发表在国际顶尖杂志Science (2021, 374, 1390-1394) 上。图2 新原理开关器件及其晶态-液态新型开关机理(Science, 2021, 374, 1390-1394)中国科学院上海微系统与信息技术研究所是我国著名的技术学科综合性研究所之一,前身是成立于1928年的国立中央研究院工程研究所。上海微系统所现有传感技术、集成电路材料、微系统技术三个国家级重点实验室,有无线传感网与通信、太赫兹固态技术、高端硅基材料三个中科院重点实验室。设有传感技术实验室、纳米材料与器件实验室,太赫兹固态技术实验室、微系统技术实验室、宽带无线通信实验室、硅基材料与集成器件实验室、超导电子学实验室、仿生视觉系统实验室、2020 X-Lab实验室等九个实验室。
  • 基恩士(KEYENCE)媒体专访会在京召开
    仪器信息网讯 2012年3月27日,“基恩士(KEYENCE)媒体专访会”在金茂北京威斯汀大饭店水厅顺利召开,基恩士国际贸易(上海)有限公司(以下简称:基恩士公司)总经理亀井隆志先生带领公司下属的视觉系统部、R&D部、市场营销部等多个部门销售经理出席会议,同时,仪器信息网等十余家业内专业媒体纷纷参加了会议。媒体专访会现场基恩士公司总经理亀井隆志先生  专访会伊始,亀井隆志先生致辞到:“基恩士自2001年起进入中国,现在我们在中国已设有11个直销营业点。基恩士公司最大的特点是直销营业模式,从产品选型到售后服务,全部都是由本公司营销人员直接提供技术支持与服务,这样便给客户减少了很多作业时间,而客户对此也给予了我们很高的评价。”  “继去年7月和10月的两次媒体发布会,今天是基恩士公司第三次举办媒体发布会。在之前的两次媒体发布会上,当被问及基恩士公司的中国市场策略问题时,我的回答是研究开发出符合中国市场的新产品,并以此为中国制造工程的自动化做出贡献。今天这个承诺终于得以实现,下面有请基恩士公司工作人员为我们详细介绍这些极具纪念意义的产品与服务。”  一、首次推出针对中国市场开发的CV-X100系列新品基恩士公司视觉系统部销售经理樱井成嗣先生  樱井成嗣先生表示,针对快速发展的视觉系统市场,3年前我们开始着手研发符合中国市场的视觉系统产品。通过对千余位中国市场客户意见的彻底调查和总结,基恩士成功推出了CV-X100系列智能引导式视觉系统。而据我所知,目前还没有其他品牌针对中国客户的需求专门开发相关产品。我相信,CV-X100系列一经推出将会在中国视觉系统产品市场占据领先地位。基恩士公司视觉系统部高黎黎女士  高黎黎女士介绍到,17年前,基恩士就已开始研发工业化检测用的视觉系统系统,目前已占据40-50%的市场份额,稳居日本视觉系统市场首位。CV-X100系列智能引导式视觉系统  与以往的视觉系统相比,CV-X100系列具有“智能学习功能”,“任何人都能简单使用”,这一点在部分客户的试用期内得到了非常高的评价;CV-X100系列能够将现场积累的“专业调整经验技巧”功能化,可实现“拍摄环境再现导航”;CV-X100系列还可设定最长32位密码,拥有牢不可破的安全性,能够有效保护客户资产;此外,CV-X100系列能够根据用户需求“自动生成专用手册”,并支持多种语言版本。基恩士客户代表:TSS公司社长田中先生  田中先生说到,TSS公司1960年创建于日本,主要业务为连接器用的全自动组装设备,在中国的青岛、上海建有生产工厂,今后将在中国大力推进通用型设备业务。TSS公司与基恩士公司合作已有15年之久,近几年基恩士公司视觉系统产品性能迅速提升,市场占有率大幅增加。从设备制造商的角度去看,基恩士拥有丰富的产品线,TSS可以统一采用基恩士各类产品制作设备;其次,基恩士销售人员技术水准很高,完全达到了技术工程师的水准,应对客户需求非常细致与及时;此外,基恩士采取直销模式,基本上不用担心产品的质量与真假问题,尤其是在视觉系统领域,基恩士公司产品的性能、可信赖性、货期方面是当之无愧的No.1。以后我们希望与基恩士公司继续合作,开发出更适合中国用户的产品。基恩士CV-X100系列与TSS自动组装设备联合展示  二、VK-X100/X200系列形状测量激光显微系统登场基恩士公司R&D部销售经理朱立峰先生  朱立峰先生谈到,传统光学显微镜景深不够,只能观察局部,很多地方会模糊;扫描电镜放大倍率高,但使用时要做导电处理、抽真空,耗时费力,而且需要专业人士操作;而粗糙度仪不适合表面质地较软的产品。鉴于上述问题,基恩士公司整合了光学显微镜、扫描电镜、粗糙度仪的功能,推出了VK-X100/X200形状测量激光显微镜。VK-X100/X200集传统显微镜、扫描电镜、粗糙度仪的功能于一身,简单快速地实现了高分辨率、大范围形状测量,任何人都可以容易上手操作。目前国内很多客户已经采购了这款产品,主要用于半导体,显示器、电子零部件、印刷线路板、打印机、复印机、汽车部件、表面处理、化学品等行业的研发、质量分析工作。VK-X100/X200形状测量激光显微系统  三、潜心打造出4大自动化产品信息资源站点基恩士公司市场营销部马巍峰先生  马巍峰先生介绍到,作为30年来以传感器为主的综合性制造商和供应商,基恩士在新年前期潜心打造了多个自动化产品信息资源站点,当做给自动化行业献上的礼物。2012年3月前,传感器中心、测量仪器中心、条码读取器中心、激光刻印中心4大站点已陆续上线。  其中,传感器中心是以传感器为主的自动化入门级百科实例资讯信息站;测量仪器中心汇集了各行各业所需的不同解决方案与应用实例;而将条码读取器、二维玛读取器整合为一体的条码读取器中心可谓是国内首创;激光刻印机中心则可以提供强调模拟刻印功能。通过提供这些详尽的行业应用及专业的技术指南,我们希望能够帮助提升自动化行业技术人员的水平。此外,我们相继还将推出显微镜、静电仪器站点,希望大家能够给予我们意见与建议。基恩士公司高层接受媒体提问(右起:樱井成嗣先生、亀井隆志先生、全玉花女士)  Instrument:基恩士公司的产品以创造高附加值为目标,请介绍一下贵公司产品的高附加值主要体现在哪几方面?  亀井隆志先生:基恩士公司的销售工程师会和客户进行直接接触、沟通,第一时间了解客户的需求,并把客户的声音反馈到产品开发过程中,这种以直销经营模式对客户提供高质量产品与服务的方式,可以体现高附加值的一个方面。此外,基恩士公司的技术创新步伐很快,在客户还没有意识到问题之前,我们已经根据经验抢先一步在产品上进行了改进与优化,我认为这也是高附加值的一种体现。  Instrument:基恩士目前正在重点拓展海外市场,中国又是重中之重;那么,请谈谈2012年基恩士公司对中国市场的期望值和期望点?  亀井隆志先生:2011年基恩士推出的新品已取得了很好的市场成绩,2012年我们还将会源源不断地推出新产品,期待后续的新品会给公司带来更高的增长。我认为,目前中国市场所有的行业发展都比较好,其中,基恩士公司最为期待的是汽车行业和电子行业,如电子配件市场等。
  • 第三回基恩士媒体专访会圆满结束
    继2011年7月和10月的媒体专访会之后,第三回基恩士媒体专访会于2012年3月27日在金茂北京威斯汀大饭店召开。自动化行业的十余家媒体出席了本次专访会。 过去专访会上媒体最关心的问题是,基恩士对中国市场的产品策略是什么,亀井总经理的每次的回答是我们要研究开发出符合中国市场的新产品,以此为中国的自动化市场做贡献。今天这个承诺终于得以实现,基恩士向各大媒体发布了这一纪念性产品&mdash &mdash CVX系列视觉系统。 本次专访会的主角CV-X100系列&ldquo 智能引导式&rdquo 视觉系统是,基恩士对中国市场进行调查研究,搜集并总结了中国现地用户的意见,历时三年研究开发出的专门针对中国市场发布的新产品。它具有简单易用、智能学习、几何测量工具、自动生成手册、多语言支持等功能。特别是&ldquo 智能学习功能&rdquo ,使机器可以像人一样&ldquo 思考、学习&rdquo ,自动做出判断,实现更高水平的检测。&ldquo 智能学习功能&rdquo 是为了实现任何人都能简单使用的核心功能。以此款产品瞄准中国视觉系统产品市场的Top share,这将是基恩士对于视觉系统市场的目标。与此同时专访会上还发布了VK-X100/X200系列形状测量激光显微系统、LR-Z系列放大器内置型CMOS激光传感器。CV-X系列视觉系统 请求目录 此次专访会的CVX产品演示中基恩士使用了TSS公司提供的一台连接器视觉检测设备,基恩士本次邀请到了既是客户又是合作伙伴的TSS公司的田中社长与工程师,在发布会上田中社长向媒体介绍了作为设备商认为的中国市场的动向和视觉检测设备的开发理由,并且对基恩士公司和基恩士产品做出了中肯的评价。由此重申了媒体比较感兴趣的&ldquo 附加价值理念&rdquo &mdash 我们提供的不仅仅是产品,更多的是能给客户带来帮助的附加服务。按照客户需求为客户介绍优秀的设备商也是基恩士附加服务的内容之一,基恩士与TSS公司这样有实力和经验丰富的优秀设备上合作,在为客户提供整套设备的咨询服务。TSS公司社长田中先生表示,可与基恩士维持这样长期的合作关系的原因有,首先是因为是直销经营模式,基恩士的销售工程师的技术水准很高,在应对客户需求方面,非常细致而且对应水平非常高。其次也是因为直销经营模式,所以不用担心产品的真假。在视觉系统这个领域中,基恩士公司是产品性能、信赖性、货期方面是当之无愧的No.1。另外,基恩士拥有丰富的产品线,所以做设备的时候,统一采用基恩士的各类产品制作设备的话,自己的配线也会变得简单,而且发生问题基恩士也可以很好的去对应。最后表示以后也希望继续跟基恩士合作,一同做出更适合中国市场的产品。专访会现场基恩士自动化产品信息资源站点:传感器中心: www.sensorcentral.com.cn测量仪器中心: www.measurecentral.com.cn条码读取器中心: www.barcodereader.com/cn激光刻印中心: www.lasermarker.com.cn数码显微镜中心: www.digitalmicroscope.cn
  • 通过 FLIR Firefly DL相机进行边缘推断,激发深度学习的潜能~
    深度学习深度学习作为一项新技术,革新了现有应用程序并推动新兴产业的迅猛发展。Google、Amazon、Intel 和Nvidia提供的用于创建和训练神经网络的工具使技术获取更容易,促进新玩家凭借有竞争力的产品进入成熟市场。目前,深度学习的潜能已被广泛认可,也许您现在正在应用程序上使用深度学习。为了让机器视觉开发者能够充分利用这项技术,菲力尔推出了FLIR Firefly DL相机,它可以便捷地在现场部署受训过的网络。FLIR Firefly DLFLIR Firefly DL通过集成高质量的Sony Pregius图像传感器和符合GenICam的Intel Movidius Myriad 2视觉处理单元 (VPU),将机器视觉和深度学习推断相结合。FLIR机器视觉相机尺寸小巧、重量轻且功耗低,是嵌入移动、桌面和手持系统的理想选择。VPU的概念位于FLIR Firefly DL核心的Intel Movidius Myriad 2视觉处理单元(VPU)是一种新型处理器。VPU结合了高速硬件图像处理过滤器、通用CPU内核以及平行矢量处理内核。与GPU的通用内核相比,用于加速相机内建推断的矢量内核针对神经网络的分支逻辑进行了更多优化,优化程度更高的VPU能够以低功率实现高性能。推断与深度学习的关系推断是在新捕获的、无标签真实数据上应用的深度学习。推断是指受训后的神经网络根据新数据做出预测的结果。推断应用了一个通过标记数据 (A) 训练未标记数据 (B) 的模型虽然有许多不同类型的网络可用于推断,但MobileNet特别适用于图像分类。MobileNet最初由Google设计,用作移动设备的高精度图像分类和分割。与那些计算昂贵且需要耗电量大GPU的网络相比,它也能够实现相同的精度。推断相机和“智能相机”的区别传统智能相机结合了机器视觉相机和运行基于规则的图像处理软件的单板计算机。智能相机可以较好解决简单问题,例如读取条形码或回答“孔是否应该位于该部分?”这类提问。推断相机的优势在于可处理更复杂或主观的问题,例如“这是出口级苹果吗?” 当使用已知的优质图像进行训练时,推断相机可以轻松识别基于规则的检查系统无法识别的非预期内缺陷,使其对差异性更加宽容。推断相机可通过丰富的描述元数据扩大现有应用。通过GenICam块数据,FLIR Firefly DL相机可以使用推断来标记传至主机的图像,该主机使用传统的基于规则的图像处理方式。通过这种方式,用户可快速扩展其现有视觉系统的能力。该混合式系统架构同样也可以触发传统视觉系统。使用 FLIR Firefly DL相机可以节省大量空间,因为传统智能相机中使用的计算硬件功耗效率更低,而且比FLIR FireflyDL相机中的VPU大得多。FLIR Firefly DL相机尺寸只有27mmx27mm,可随时集成到紧凑的空间中。FLIR Firefly DL是一个开放式平台,使用户可灵活利用快速进步的深度学习网络及其训练和优化的相关工具链。相反,使用专有工具对智能相机进行编程可能会落后于新技术。相机内建推断的优势在视觉系统边缘进行推断,可以促进系统速度、可靠性、功率效率和安全性的提升。★ 速度:边缘推断与其他形式的边缘计算一样,图像处理可在离开中央服务器,靠近数据源进行。无需将所有图像传输至远程服务器,只需传送描述数据。这将大幅减少系统需传输的数据量,使网络带宽和系统延迟降低。★ 可靠性:对于某些应用,FLIR Firefly DL不需要依靠服务器和网络基础设施,就可提升其自身可靠性。FLIR Firefly DL通过其内置的VPU,可作为独立传感器运行。它可捕捉图像并根据图像做出决策,然后使用GPIO信号触发操作。★ 功率效率:只在需要时触发视觉系统意味着更多的处理时间可用在传统基于规则的图像处理和分析上。深度学习推断可在满足特定条件时触发高功率图像分析。Myriad 2 VPU通过级联网络支持可节省额外功率。如此可以实现多层分析,只要满足前一个网络的条件,更复杂、功率更高的网络就可以启用。★ 安全:少量数据的传送便于加密,提升系统安全性。深度学习推断的应用FLIR Firefly DL提供了一条从深入学习的研发到实际应用程序的方便途径。它可随时作为独立传感器使用,捕捉图像并基于图像做出决策,从而触发GPIO行为。通过Intel神经计算棒,可用低于1000美元(约6300元)的成本建立起完整的视觉系统边缘推断。视觉系统开发人员可以使用Intel OpenVINO工具包在同一个驱动FLIR Firefly DL相机内建推断的VPU上轻松优化和验证神经网络的性能。这使得用户能够使用相同的相机,准确评估Myriad 2驱动的、并行于传统算法推断的性能。从GPU训练转移到神经计算棒开发和FLIR Firefly DL部署深度学习推断将从根本上改变视觉系统设计和编程的方式。它比使用传统基于规则的方式更加快速精确地做出复杂且主观的决策。通过集合Sony Pregius传感器、GenICam 界面和 Intel Movidius Myriad 2 VPU,FLIR Firefly DL相机将机器视觉与深度学习相结合。这种新型推断相机提供了一种在机器视觉应用中部署深度学习推断的理想路径。
  • 宁波材料所氧化物薄膜晶体管人工光电突触研究取得进展
    人工视觉智能技术在安全、医疗和服务等领域颇有应用潜力。然而,随着网络化和信息化的发展,基于冯诺依曼构架的现有视觉系统因功耗问题难以实时处理海量激增的视觉数据。仿生人类视觉的光电突触器件可集图像信息采集、存储和处理于一体,有效解决现有视觉系统存在的时效性、功耗等问题。非晶氧化物半导体薄膜晶体管(TFT)作为传统电子器件在显示、电子电路等领域已实现产业化应用。因此,基于氧化物TFT的创新器件在产业工艺兼容性、与后端电路的在板集成等方面优势明显,在仿生人类视觉神经突触器件的研发方面,亟待解决如可见光响应弱、频率高效选择性、不同波段信号串扰等一些关键科学和技术问题。   中国科学院宁波材料技术与工程研究所功能薄膜与智构器件团队阐明了非晶氧化物半导体器件中与氧空位息息相关的突触权重调控的微观机理,为提高可见光响应奠定了理论基础,设计了背沟道修饰pn异质结的光电突触TFT,有效耦合了三端器件的栅压调控和两端器件的内建电场调控功能,兼具高光电响应、易集成、低功耗等优势。   近期,该团队携手福州大学教授张海忠团队,设计了基于InP量子点/InSnZnO的光电TFT的仿生视觉传感器,将氧化物半导体优异的电传输特性和InP量子点良好的宽光谱响应特性有机结合,使器件具有优异的栅极可控性和可见光响应特性,通过简单控制栅极偏置实现初始状态的调控,仿生模拟了人眼暗视和明视环境下适应功能的切换。该工作构建的TFT阵列在感知红绿蓝三原色字母时均表现出逼真的环境自适应特征。此外,基于该光电传感阵列的三层衍射神经网络用于手写数字识别模拟,准确率可达93%。该研究为开发环境适应性人工视觉系统开辟了新途径,并对神经形态光电子器件的研发具有启发性意义。   相关研究成果发表在《先进功能材料》(Advanced Functional Materials,DOI: 10.1002/adfm.202305959)上。研究工作得到国家自然科学基金和宁波市重大科技攻关项目等的支持。人眼明暗适应过程与氧化物光电薄膜晶体管光电流变化过程的类比演
  • Science封面:鱼对颜色的感知比人还丰富?
    一个国际研究小组发现了一种以前未知的视觉系统,这种系统可以让动物在黑暗的深海中保留色觉,过去人们曾认为深海动物们是色盲。这项研究发表在2019年5月10日《Science》杂志的封面上。 马里兰大学的生物学教授、论文的合著者Karen Carleton说:“这是第一篇研究各种鱼类的论文,并发现它们的视觉系统是多么的多样化和多变。决定我们眼睛光谱的基因对一组变异基因比较敏感,导致视觉系统进化比我们预期的要快得多。”脊椎动物的眼睛使用两种感光细胞——视杆细胞和视锥细胞。杆状细胞和锥状细胞都含有被称为视蛋白的光敏色素,视蛋白吸收特定波长的光,并将其转化为电化学信号,大脑将其解释为颜色。光感受器细胞中所表达的视蛋白的数量和类型决定了动物感知到的颜色。在这项新的研究之前,人们认为视锥负责色觉,视杆负责在昏暗的环境中检测亮度。这项新工作表明情况并非如此。通过分析101条鱼的基因组,研究人员发现有些鱼含有多种视紫质,这增加了它们拥有基于视紫质的颜色视觉的可能性。锥细胞通常含有表达多种视蛋白的基因,这就是为什么它们被用于色觉。但它们不像探测单个光子用于低光视觉的杆细胞那样敏感。在99%的脊椎动物中,杆细胞只表达一种光敏视蛋白,这意味着绝大多数脊椎动物在弱光条件下是色盲的。大多数深海鱼类的视力都遵循同样的模式,但新研究发现了一些明显的例外。通过分析生活在6500英尺深的浅表层水域的鱼的杆状和锥状细胞中表达视蛋白的基因,研究人员发现13条鱼含有不止一个视蛋白基因。其中四种,全部是深海鱼类,含有三个以上的杆状视蛋白基因。最引人注目的是银色洞鳍鲷,令人惊讶的是,它有38种杆视蛋白基因。这比研究人员在其他鱼类的锥细胞中发现的视蛋白还多,而且在已知的脊椎动物中发现的视蛋白数量也是最多的(相比之下,人类的视觉使用四种视蛋白)。此外,在银色洞鳍鲷身上发现的杆状视蛋白对不同波长的光敏感。Carleton说:“这太令人惊讶了。这意味着银色洞鳍鲷的视觉能力与我们想象的大不相同。那么,问题是,这有什么好处?这些鱼能用这些神奇的不同视蛋白做什么呢?”Carleton认为答案可能与发现正确的猎物有关。长期以来,人们一直认为生活在深水中的动物不需要色觉,因为只有蓝光能穿透600英尺深。但是,尽管没有阳光,深海并不是没有颜色的。许多生活在黑暗中的动物通过生物发光产生自己的光。这项新研究发现,在有多条视紫质的鱼中,它们的视紫质的特定波长被调整为与共享它们栖息地的生物发光生物发出的光谱重叠。Carleton说:“这可能是因为它们的视觉高度适应了它们捕食的不同物种发出的不同颜色的光。”值得注意的是,有三个以上杆视蛋白的四种鱼类是不相关的物种。这表明,基于杆状细胞的色觉可以被认为是深水色觉,它是独立多次进化,给生存带来一些好处。研究人员说,他们的下一步行动是将研究范围扩大到其他深海鱼类,并寻找可能进化出大量杆视蛋白的银色洞鳍鲷的浅水亲戚。
  • 香港科技大学范智勇教授《Science Robotics》:基于半球形纳米线阵列的超宽视场针孔复眼
    自然界中的生物视觉系统因其多样化的功能引人注目,尤其是具有非凡视觉能力的复眼系统,如宽阔的视场角和强大的运动跟踪能力,在机器视觉的实际应用中具有巨大的潜力。当前制造复眼系统通常采用可变形电子技术,然而该技术面临包括全局形变的复杂性、应力稳定性、几何限制、以及光学组件与探测器单元之间不匹配的潜在问题,因此开发一体化的人工复眼系统并将其集成到自主平台如机器人或无人机上实现特定的视觉功能极具挑战性。近期,香港科技大学范智勇教授团队开发了一种独特的针孔复眼(PHCE)系统,该系统集成了3D打印的蜂窝状光学结构和半球形的全固态高密度钙钛矿纳米线(PNA)光电探测器阵列。这种无透镜的针孔结构(PHA)可以根据底层图像传感器的需求,设计制备出任意布局。该团队通过对比光学模拟和成像结果验证了该视觉系统的关键特性和功能,包括超宽视场、精准的目标定位和运动跟踪能力。该团队进一步演示了PHCE系统在无人机上的功能集成,使其能够跟踪地面上的四足机器人。这种独特的空中-地面协作机器人互动展示了PHCE系统在未来多机器人协作和机器人群技术开发中的潜在应用前景。相关工作以“An ultrawide field-of-view pinhole compound eye using hemispherical nanowire array for robot vision”为题发表于国际顶级学术期刊《Science Robotics》,并当选当月封面文章。香港科技大学电子与计算机工程系博士后周宇、孙梽博和博士研究生丁宇宬为文章共同第一作者,香港科技大学电子与计算机工程系讲席教授范智勇为文章通讯作者。该工作得到了香港研究资助局项目、粤港澳联合实验室项目、科学探索奖以及中银香港科技创新奖的大力支持。图1. PHCE及其集成组件的示意图和图像。(A)PHCE整体结构示意图。(B)PHCE系统的剖视图。(C)半球形多孔氧化铝膜中钙钛矿纳米线的横截面电镜图像和宏观照片。(D)强盗蝇眼的宏观照片。(E)安装在印刷电路板上的PHCE系统的侧视照片。(F)相邻针孔单元的横截面示意图。(G) 不同小眼间角下针孔像素数量与整体视场角的相对关系。(H)单个针孔和针孔阵列角度依赖的归一化强度分布。要点:研究者受到昆虫(例如强盗蝇)复眼独特几何结构的启发,设计了蜂窝状的针孔阵列,通过光学计算和模拟仿真优化了有限像素数下的接受角Δφ、小眼间角ΔΦ,确定了对应针孔的最佳长度直径比,可以消除相邻小眼之间的盲区并减少光效率损失。研究者使用摩方精密面投影微立体(PμSL)光刻3D打印技术(nanoArch P140,精度:10 μm)制备了对应几何参数的针孔阵列,并与半球壳的凸面共形,原料为光敏树脂。由于高打印自由度和简化的结构,上述针孔阵列的参数可以很好地设计和协调,以满足对应图像传感器的需求。图2. 钙钛矿纳米线光电探测器的性能。(A)多孔氧化铝膜中不同钙钛矿纳米线的光致发光光谱。(B)不同组分钙钛矿纳米线的X射线衍射光谱。(C)单像素纳米线光电探测器各部分能级关系。(D)单像素探测器的时间依赖开/关光响应。(E)单像素光电探测器的光强依赖光电流密度和响应度。(F)未封装单像素光电探测器的工作稳定性。要点:钙钛矿纳米线是在氧化铝纳米通道内以铅纳米线作为前驱体之一生长的,未完全消耗的铅与钙钛矿形成接触,在除去基底后,通过热蒸镀的方式制备凹球面的铟电极,研究者使用PμSL 3D打印技术制备了与半球壳凹面共形的掩膜版。氧化铝多孔结构为钙钛矿材料提供了天然的封装,提高了器件的工作性能。通过调节钙钛矿中的卤素和金属元素,PNA光电探测器感测区域可以从可见拓展到近红外。在弱光下,探测器的响应度可达到2.9 A/W,随着光照强度的增加,光电流增加而响应度减小。此外,未封装的器件在常规环境中存放 10 个月后,仍保持超过80%的原始光电流数值。图3. PHCE系统的成像能力。(A)测量装置的示意图。(B)半球形成像系统的视场测量。(C)捕获的圆形图案图像。(D)捕获的十字和三角图案图像。要点:研究者集成了由121个小眼构成的单目复眼系统,半球形的几何结构赋予整个系统约140°的大视场角。PHCE系统能够在广阔的视场内成像。由聚光灯生成的圆形、十字和三角图案可以被PHCE系统准确捕获并成功识别。上述实验成像效果与模拟仿真结果高度吻合。图4. PHCE系统的目标定位和无人机运动跟踪。(A)包含两个 PHCE 的双目视觉系统照片。(B)双目视觉系统的工作原理。(C)在3D空间中移动点光源的空间位置和生成的移动路径。(D)无人机运动跟踪的工作原理。(E)安装在无人机上的PHCE照片。(F)-(H)光源和无人机移动期间的相对位置照片以及由无人机上的PHCE捕获的相应图像。要点:为了精确定位点光源在3D空间移动轨迹,研究者进一步构建了基于一对PHCE(分别具有37个小眼)的双目复眼系统,其中两个PHCE之间的角度固定为60°,整体视场增加到220°。双目系统可将整个区域可以分为三部分,即盲区、运动检测区和精确定位区。双目复眼捕获运动光源在不同位置的图像,研究者可以解析这些位置并重建其在3D空间中的运动轨迹。由于PHCE系统出色的角度选择性,研究者进一步将其安装在可编程的商业无人机上,实现了对载有点光源的四足机器人运动的实时定位和追踪。综上所述,受到昆虫复眼系统的启发,研究者设计并制造了一种独特的针孔复眼系统,具有广阔的视场、精确的目标定位和动态运动跟踪能力。通过进一步改进和技术升级,包括缩小设备尺寸、增加小眼数量、提高成像分辨率和响应速度,该复眼系统有望实现在智能光电传感和机器人技术领域的广泛应用。
  • 科学家发现深度神经网络对幻觉轮廓“视而不见”
    近日,中科院自动化所研究员曾毅团队研究发现,从经典的到最先进的深度神经网络都难以像人一样具有较好的幻觉轮廓识别能力。相关研究成果发表于细胞出版社旗下期刊《模式》。神经网络和深度学习模型在过去十年中看似取得巨大成功,在许多给定的视觉任务中在指定方面超过了人类表现。然而,神经网络的性能仍然会随着各种图像扭曲和损坏而降低。一个非常极端的例子是对抗攻击,通过在图片上施加人眼难以察觉的微扰,能够使神经网络模型彻底失效。而人类的视觉系统在这些问题上具有高度鲁棒性,说明深度学习与生物视觉系统相比仍然存在根本性缺陷。为此,曾毅团队提出了一种名为交错光栅扭曲的图像干扰方法,作为量化神经网络模型幻觉轮廓感知能力的工具。结果表明,大多数预训练模型的表现接近随机。另外可以观测到当交错光栅之间的距离较小时,存在一些模型的结果与其他模型的分布有较显著的差别。他们最终发现,使用深度增强技术训练的模型相比其他模型能够显著增强模型对交错光栅扭曲数据集的识别。该研究还招募了24名人类受试者,以评估不同的参数设置下,人类的幻觉轮廓感知能力以及其对数字和图像识别的影响。研究发现,即使是当前最先进的深度学习算法在交错光栅效应的识别上也与人类水平相距甚远。论文第一作者、中科院自动化所工程师范津宇认为,该研究结合了认知科学和人工智能,提出了将传统机器视觉数据集转换成认知科学中的交错光栅幻觉图像,并首次对大量的公开预训练神经网络模型的幻觉轮廓感知能力的量化测量,从神经元动力学角度和行为学角度两个检验深度学习和神经网络模型对幻觉轮廓的感知。“这项研究从认知科学的角度检验和部分重新审视了当前看似成功的人工神经网络模型,并且证明人工神经网络模型与生物视觉处理过程仍然存在着很大差距,大脑运作的机理和智能的本质将继续启发人工智能,特别是神经网络的研究。”曾毅说。在他看来,要想从本质上取得突破,人工智能需要借鉴和受自然演化、脑与心智的启发,建立智能的理论体系,这样的人工智能才会有长远的未来。
  • 蓝菲光学发布LED积分球均匀光源(LED-USS)新品
    LED积分球均匀光源(LED-USS) 蓝菲光学LED-USS积分球光源提供了一种超均匀,高动态范围,亮度/色温均可精细调节的面光源。该积分球光源基于蓝菲光学40年的光学系统开发经验,独有的高反射率漫反射材料,巧妙的积分球结构设计,是行业内研发测试,质量检查,生产测试的理想解决方案。图1. 通过积分球对相机校正 近年来,随着机器视觉系统的快速发展,越来越多的产线上采用基于工业相机的系统进行快速测量,引导,检测和目标识别。其中一个主要的应用是平板显示检测系统,尤其是OLED面板在消费电子的大规模使用后,对机器视觉系统提出了更高的要求。一个高精度的机器视觉系统需要高性能的光源进行校正。 LED-USS提供了满足国际相机性能测试标准EMVA-1288所需的高性能光源,能够对工业相机进行平场矫正,线性度校正,暗噪声评估等。图2. 积分球开口亮度示意图 该积分球使用蓝菲光学独有的Spectraflect材料,具有以下两个特点:1. 对紫外-可见-红外波段具有超高的光谱反射率,可以实现各类光谱的高流明输出。2. 近乎完美的朗伯反射特性,保证入射光在积分球内壁任何一处均匀分布。 基于以上特性,再结合蓝菲光学特殊的积分球结构设计,可以实现开口处超均匀的输出。 图3. 开口处均匀性测试结果 通过内部自带的散热装置,系统的光输出能够保证很好的稳定性。此外,通过自带高精度的亮度监控器,可以实时观测亮度输出情况。图4. LED-USS亮度输出稳定性(10分钟) LED-USS还提供易用的操作软件,能够便利的设定,调整,输出不同等级的亮度,色温。并能够实时监控系统的各项指标。图5. 控制软件界面系统特点出光面大且超级均匀系统输出稳定性高亮度可调节,可实现从微弱光到高亮度线性输出色温动态可调节自带亮度监控,实时观测亮度输出情况软件提供SDK,可与其他设备联合开发可定制大视场均匀光源可定制从紫外到红外范围内单一或多个波长的均匀光源可定制光谱仪监控光谱输出情况应用领域主要应用于各类相机的平场校正,线性度校正,暗噪声校正,动态范围校正等EMVA1288相关参数校正,在很多行业有广泛应用:平板显示检测相机校正大视场相机,360°全景相机校正各类车载摄像头校正红外相机校正成像式亮度计/色度计校正手机等各类消费电子摄像头校正规格参数 产品型号 LED-USS-030 LED-USS-050料号LCA-00283-000LCA-00284-000积分球尺寸(cm)3050开口尺寸(cm)1020积分球材料SpectraflectSpectraflect亮度范围(cd/m2)*0.5~250000.1~5000亮度均匀性**99%99%调节步数5×1045×104色温范围(K)2800~75002800~7500色温均匀性±15K±15K短期稳定性±0.1%±0.1%预热时间30s30s系统监控硅探测器硅探测器控制软件 自带 自带系统尺寸(mm)510×330×490730×570×720系统重量(kg)2052外接电源100~240VAC 50/60Hz100~240VAC 50/60Hz可定制积分球尺寸/大视场/各类单波长光源/光谱仪/软件开发SDK * 亮度范围指的是某些特定色温下系统能够达到的动态范围 **亮度均匀性指的是基于NIST CoV(Coefficient of Variation)计算公式计算得到 创新点:LED-USS是目前世界均匀性最高的面光源,其卓越的性能可以满足EMVA1288要求的相机均匀度,线性度,信噪比,动态范围等诸多参数测试。是从研发到生产,各类工业相机的理想校准光源。• 出光面超级均匀,均匀性大于99.5%• 系统输出稳定性高,稳定性达0.1%• 亮度线性可调节,可实现从微弱光0.1cd/m2至25000cd/m2的亮度输出• 色温动态可调节,可实现从低色温2700K到高色温7500K的输出• 自带亮度监控,实时观测亮度输出情况• 软件实现光源和探测器的全部控制,界面简单易用,可提供控制指令供二次开发。• 系统还可定制各类色温,亮度,单色光,大视场角等不同参数的光源LED积分球均匀光源(LED-USS)
  • Resonon高光谱成像仪家族—再添新成员
    PIKA IR-L 高光谱成像仪Pika IR-L 是一款覆盖近红外光谱范围(925-1700 nm)的线性扫描高光谱成像仪。该红外成像仪高速、轻便、性价比高。可与Resonon的台式、野外和机载系统联合使用、可借助软件开发工具包独立使用、也可集成到机器视觉系统中使用。特点光谱范围:925-1700 nm每行320个空间像素每行236个光谱通道高速(521 fps max.)技术指标[1] 925-1700 nm范围的光谱通道数。Pika IR-L提供的光谱通道总数为240,波段延伸超过光谱范围的两个边缘。[2] 该值在最小binning时获得。SNR可以通过光谱和空间binning来增加。样品数据和高光谱分析软件可在downloads.resonon.com免费下载。C++软件开发工具包可以直接控制高光谱成像仪。PIKA IR-L+ 高光谱成像仪Pika IR-L+是一款覆盖近红外光谱范围(925-1700 nm)的线性扫描高光谱成像仪。该仪器精度高,重量轻。可与Resonon的台式、野外和机载系统联合使用、可借助软件开发工具包独立使用、也可集成到机器视觉系统中使用。特点光谱范围:925-1700 nm每行640个空间像素每行470个光谱通道3.8 nm光谱分辨率(FWHM)技术指标[1] 925-1700 nm范围的光谱通道数。Pika IR-L+提供的光谱通道总数为480,波段延伸超过光谱范围的两个边缘。[2] 该值在最小binning时获得。SNR可以通过光谱和空间binning来增加。样品数据和高光谱分析软件可在downloads.resonon.com免费下载。C++软件开发工具包可以直接控制高光谱成像仪。
  • 机器视觉|新伙伴上线啦~速来围观
    各位菲粉们2020年下半年正式开启今天小菲给大家介绍一位新伙伴:Machine Vision 新“老”朋友FLIR IIS“老”:Point Grey成立于1997年,是先进可视成像相机和解决方案的佼佼者。2016年底,FLIR正式收购Point Grey Research Inc.,成立Machine Vision部门,它已加入FLIR大家庭两年多,已经在机器视觉、零售分析的智能成像和可见光谱相机方面,为菲粉们提供了众多解决方案。“新”:Machine Vision部门的产品宣传以往线下居多,在菲力尔官方微信公众号上,还是妥妥滴“萌新”哦~机器视觉摄像头FLIR IIS机器视觉摄像头被应用于工业自动化系统、医疗诊断设备、人口计数系统、智能交通系统、军事和国防产品以及高级测绘系统的先进可视成像相机和解决方案。Machine Vision生产和销售250多个型号的可见光相机,分辨率从0.3万像素到31万像素不等。摄像机有多种形式,包括板级和封闭的用户界面选项,如USB3、GigE和10GigE。Machine Vision设计、制造并向全球客户分发其相机和相关软件,以建立提高各种流程和产品的效率、质量、分析和安全的系统。应用广泛FLIR IIS有人说,机器视觉技术离我们好远,其实不然,机器视觉技术无处不在。任何大规模生产:从食品到半导体再到纺织品,都依赖机器视觉来指导自动化和检查产品的质量。顾名思义,机器视觉基本上是一个系统(如计算机)的视觉能力,系统对图像进行分析以做出决策或分类。机器视觉技术使自动化产品检测、人脸识别和防撞技术成为可能。想知道机器视觉摄像头应用领域、经典案例、精品推荐等信息吗?留言给小菲下期文章为大家解答哦~
  • 齿轮视觉检测仪器与技术研究进展
    齿轮视觉检测仪器与技术研究进展石照耀 1*,方一鸣 1,王笑一 2 1 北京工业大学北京市精密测控技术与仪器工程技术研究中心,北京 100124; 2 河南科技大学河南省机械设计及传动系统重点实验室,河南 洛阳 471003摘要:相对于接触式测量,机器视觉检测这种非接触式测量具有效率高、信息全、稳定性好、可识别缺陷等优点,在齿轮检测领域得到越来越广泛的应用。近十年来出现了影像仪、闪测仪、CVGM仪器、在线检测设备等多种基于机器视觉技术的齿轮检测仪器,它们既可以实现齿轮综合式测量,又可以实现齿轮分析式测量。回顾了齿轮视觉检测仪器的发展历程和特点,分析了齿轮视觉检测中边缘检测、亚像素定位、特征提取和模式识别等算法的研究和应用进展,总结了机器视觉在齿轮精度测量和齿轮缺陷检测两个方面的技术发展,并指明了齿轮视觉检测仪器与技术的发展前景。关键词:机器视觉;齿轮测量;齿轮视觉检测仪器;齿轮精度测量;齿轮缺陷检测1 引言齿轮是应用广泛的基础件,其质量直接影响齿轮传动系统的承载能力和寿命等。齿轮检测是分析齿轮加工误差来源、提高齿轮加工精度、保证齿轮产品质量的必备手段。齿轮测量可分为接触式测量和非接触式测量。由于齿轮形状复杂,精度要求高,传统的非接触式测量方法难以满足齿轮测量精度要求,因此传统的齿轮检测设备通常采用接触式测量方式。应用广泛的齿轮测量中心和齿轮双啮检查仪分别是齿轮分析式测量设备和综合式测量设备,均为接触式测量方式。随着计算机技术和视觉测量技术的进步,机器视觉测量精度逐渐提高,在一些场合已经可以满足齿轮检测的需求。相对于接触式测量,机器视觉测量具有效率高、信息全、稳定性好、可识别缺陷等优点,在齿轮测量领域应用越来越广泛。近年来出现了影像仪、闪测仪、computer vision gear measurement(CVGM)仪器、在线检测设备等多种基于机器视觉技术的齿轮检测仪器,它们既可以实现齿轮综合式检测,又可以实现齿轮分析式测量,更能进行齿轮缺陷检测。接触式测量属于串联测量模式,通过测量齿面上一系列点来完成某种测量目标,测量效率较低,大批量齿轮的在线全检是个挑战。此外,接触式测量方法只能测量齿轮的尺寸和精度,难以进行齿轮缺陷检测。目前齿轮产品的外观缺陷主要依靠肉眼筛查,一些细微缺陷还要借助放大镜、工具显微镜等辅助设备进行识别,这些设备检测效率低、误检率高,且无法对缺陷进行准确分类和溯源。齿轮视觉检测属于并联测量模式,一次测量可获取整个区域内的几何要素和外观缺陷数据,检测速度得到极大提升,可以用于大批量齿轮的全检;更重要的是能同时进行齿轮精度测量和齿轮缺陷在线检测。基于视觉的齿轮精度测量是齿轮精度理论与机器视觉技术的有机结合,作者将我国首创的齿轮整体误差理论融入齿轮视觉检测技术中,大大拓展了对齿轮误差的分析能力。齿轮缺陷在线视觉检测技术可实现对大批量齿轮的100% 全检,柔性和自动化程度高,既能实时反映生产状态,及时预警,也方便管理者掌控一定周期内产品质量变化,还可以根据大数据做进一步的质量评估、产能分析和工艺优化。2 齿轮视觉检测仪器如图1 所示,齿轮视觉检测仪器由工业相机、镜头、光源、计算机等几个主要部分组成。常用两种照明方式:图1(a)采用背光光源从待测齿轮下方照明,采集到的是齿轮投影图像,齿轮边缘锐度高、噪声小,此方式适用于齿轮精度测量;图1(b)采用正光光源从待测齿轮上方照明,采集到的是齿轮端面图像,能够凸显齿轮表面缺陷特征,此方式适用于齿轮表面缺陷检测。图1 齿轮视觉检测仪器构成(a)齿轮精度测量系统;(b)齿轮缺陷检测系统几十年来,齿轮视觉检测仪器经历了从只能“离线抽检”齿轮的“个别尺寸”,到结合齿轮精度理论做出齿轮“精度评定”,再到可以在生产现场“在线检测”的越,从通用仪器演变为专用仪器。常见的通用仪器有影像仪、闪测仪等,专用仪器有CVGM 仪器、齿轮在线检测设备等。2.1 影像仪影像仪(VMM)是小零件行业应用广泛的通用视觉检测仪器,可用于测量齿轮外径、孔径等几何尺寸。影像仪有手动式和自动式之分。手动式影像仪的成本较低,但调光、对焦、选点、修正等都依赖人工操作;测量齿轮时,需要人工取点来拟合齿顶圆、齿根圆等几何要素。世界上第一台由电机驱动的自动影像测量系统是1977 年由美国View Engineering 公司研发的“RB-1”系统。目前,国内外有众多企业生产自动式影像仪,典型有瑞典海克斯康、德国蔡司、日本三丰、深圳中图仪器、贵阳新天光电、苏州天准科技等。自动式影像仪在工作台的X、Y 和Z 轴方向可以精确移动,能够实现自动对焦,测量精度更高。通过示教或编程可以实现齿轮测量中的自动取点,但操作过程较为复杂,对操作人员要求高。自动式影像仪一般没有齿轮测量专用软件,能够测量的齿轮指标不全,不能进行精度评价和分析。传统影像仪视场一般较小,为了获取整个齿轮端面轮廓,需要进行图像拼接。手动式影像仪进行图像拼接时效率低、难度大,精度也较差。自动式影像仪可以实现图像的自动拼接,效率较高,但拼接成的图像存在亮度、对比度不均匀的现象,尺寸测量精度同样受到影响。2.2 闪测仪近年来,市面上出现一种新型的一键式影像测量仪(闪测仪),视场范围大,可以一次测量多个零件。日本基恩士的IM-8000 闪测仪可在数秒内同时完成最多100 个目标物、300 个部位的测量,可以任意摆放工件,一键自动识别,自动匹配测量。独特的亚像素处理技术可使图像分辨率达0. 01 pixel,测量精度达±2 μm。深圳中图仪器的VX8000 系列闪测仪也可实现同等级的测量精度。此外,闪测仪还可导入CAD 图,通过“比较测量”识别缺陷,如将实际齿廓图像与标准CAD 图的齿廓对比,可以得到缺齿、断齿等缺陷信息。闪测仪的测量效率相比传统影像仪显著提升,但价格昂贵,同样缺少齿轮精度评价专门功能。2.3 CVGM 仪器1980年代,日本和我国开始了齿轮激光全息测量技术研究。基本原理如图9所示,以单频的氦氖激光器为光源,首先在干涉测量系统获得参考标准齿面的全息图像,然后将标准齿面替换为被测齿面放置于干涉测量系统中,同时将已经拍摄到的全息图像置于系统中。测量时,激光经分光棱镜分光扩束后分为了测量光路和参考光路,其中测量光照射到被测齿面上。两束光线同时照射在全息图上,形成了被测齿面和参考齿面间的干涉条纹,并投影在接收屏幕上。在对条纹图像进行数据处理后,可以得到被测齿面相对于标准齿面的形状误差。在测量光与全息图像之间放入平行平晶,用来调整测量光的相位。对于模数0. 2 mm 以下的小模数齿轮,难以使用接触式方法测量齿廓、齿距、公法线长度等关键参数;现有影像式测量设备不能给出齿轮精度评价报告。如图2所示,CVGM 仪器专用于解决小模数齿轮测量难题,可在1 s内自动计算出齿廓、齿距、径向跳动、公法线长度、齿厚变动量、内孔尺寸、实际压力角等关键精度信息,自动根据齿轮精度标准ISO-1328对齿轮误差进行评级,输出完整的齿轮精度检测报告,并做出OK/NG 判断。CVGM 仪器的齿廓偏差测量精度为±3 μm,齿距偏差测量精度为±2 μm,具有强大的分析功能,可测量双向截面整体误差曲线(SJZ 曲线)。图2 CVGM 小模数齿轮测量系统(a)CVGM 软件;(b)CVGM 系统如图3 所示,CVGM 仪器使用齿轮整体误差曲线作为齿轮单项误差计算的中间体,即先由齿轮轮廓生成齿轮整体误差曲线,再由齿轮整体误差曲线计算出各单项误差;并以SJZ 曲线方式表达测量结果,大大提升了齿轮误差分析能力。图3 基于视觉的齿轮整体误差分析2.4 齿轮在线检测设备齿轮视觉在线检测设备一般都具有分选功能,根据检测结果把被测产品分成合格品、不合格品,或按齿轮精度等级分类,或按缺陷类型分类。该类设备结构形式有三种:直接集成在齿轮产品传送带上方,结构较简单;使用专用上下料机械手和其他辅助机构,结构最复杂;采用玻璃转盘式结构,应用最广泛。图4位于传送带上方的齿轮视觉在线检测设备,优点是占用空间小,但传送带运动不平稳和易磨损,产品摆放角度不固定,导致检测精度难以提高。由于传送带不透光,该设备无法获取齿轮与传送带接触面的图像,不能实现双面测量。图4 传送带式齿轮视觉检测系统图5 所示设备采用了机械手、导轨、转盘等部件,结合专门设计的自动检测装置完成齿轮上下料、检测、分选和摆盘等一系列操作。这类检测设备功能较强,但结构复杂,成本较高。图5 使用机械手和自动装置的齿轮视觉检测设备本团队研制了玻璃转盘式的注塑齿轮在线检测分选系统,如图6 所示,该系统已应用于注塑齿轮生产线,工作稳定,取得了突出的使用效果。玻璃转盘由伺服电机和精密减速器驱动,带动待检齿轮通过视觉检测工位,可保证图像采集过程中齿轮匀速平稳运动。转盘采用高透明玻璃材质,不需翻转就可得到产品底部的检测图像。由光电传感器定位齿轮在转盘上的位置,使用气动执行器将OK/NG 的齿轮吹入相应的存储盒实现自动分拣。该系统能够实现注塑齿轮黑点、毛刺、缺齿、断齿、翘曲变形等外观缺陷检测,也能完成常规几何尺寸和形位误差的测量,并能根据缺陷阈值、尺寸公差实时分选出合格品和不合格品,且具备报警功能。该系统对齿轮端面的检测时间小于0. 3 s,满足生产节拍的需求,特别是具有齿轮轴向测量功能。图6 玻璃转盘式齿轮视觉检测分选系统图7 为注塑齿轮在线检测分选系统软件界面。该软件具有自主知识产权,在软件数据库中贮存了常见齿轮型号及对应的尺寸公差和配置参数,包括CPK 分析和XR 图分析,提高了参数输入效率。注塑齿轮在线检测分选系统兼具精密测量与缺陷检测功能,包括齿轮轴向高度、齿距、公法线、同心度等与齿轮精度相关的检测,齿轮外观缺陷识别准确率能满足注塑齿轮大批量在机检测需求。图7 注塑齿轮在线检测分选系统软件界面3 齿轮视觉检测技术齿轮视觉检测技术是齿轮视觉检测仪器的核心,涉及光学、电子学、计算机图形学、齿轮几何学等多个学科,内容覆盖光学成像、图像处理、软件工程、工业控制、传感器、齿轮精度理论等。近几年,与齿轮视觉检测技术相关的新技术、新理论、新方法大量出现,在多个核心问题上取得了重要的研究进展。齿轮视觉检测技术既有一般视觉检测的共性问题,又有齿轮视觉检测中的特殊问题。齿轮视觉检测的工作流程包括图像采集、图像预处理、边缘检测、齿轮精度评定或齿轮缺陷分析等,其中图像采集、图像预处理、特征提取、图像分割、边缘检测、亚像素算法等属于通用的视觉检测技术,而齿轮精度评定和齿轮缺陷识别属于齿轮视觉检测技术的个性问题。这里先从图像采集系统(硬件)和图像处理算法(软件)两个方面综述与齿轮视觉检测技术相关的共性问题的研究进展,然后从齿轮精度测量和齿轮缺陷检测两个方面介绍齿轮视觉检测技术中个性问题的研究进展。3.1 图像采集系统图像采集系统一般由计算机(主机)、图像采集卡、工业相机、镜头、光源等组成。工业相机按照传感器芯片种类可分为CCD 相机和CMOS 相机两种,传统上CCD 相机效果更好,但随着技术的发展,目前在一般应用场合CMOS 相机基本已经取代了CCD 相机。相机数据接口常见的有GigE 接口、USB 接口(USB2. 0和USB3. 0)、Cameralink 接口等。其中采用GigE 或USB 接口的工业相机可以直接通过线缆与主机通讯,不需要数据采集卡;而其他接口如Camerlink 接口的相机则需要配备图像采集卡才能与主机通讯。常用的工业镜头按等效焦距分类主要有广角、长焦、中焦、远心、微距镜头等。一般远心镜头的畸变更小,景深更大,可以消除“近大远小”的测量误差,更适合进行高精度的尺寸测量,因此在齿轮视觉检测领域使用最多的镜头为远心镜头。但远心镜头通常价格较高,对精度测量要求不高时,可用普通镜头替代。视觉检测领域常用的光源有点光源、面光源、条形光源、环形光源、穹顶光源、同轴光源等类型,其作用主要有强化特征和弱化背景、突出测量特征、提高图像信息、简化算法、降低系统设计的复杂度、提高系统的检查精度和效率。在齿轮精度测量领域常用的光源主要是面光源,面光源的光线具有更好的方向性,均匀性更好,齿廓更清晰;在齿轮缺陷检测领域主要使用穹顶光源、环形光源和同轴光源等,这些光源可使整个齿轮端面图像的照度十分均匀,突出缺陷特征。齿轮视觉检测的核心问题是测量精度和检测效率,这两个问题都与图像采集系统密切相关。为了提高测量精度,应当选用分辨率更高的相机;为了提高检测效率,需要选择分辨率低的相机,以减少需要处理的数据量,提高软件计算速度。精度和效率是一对矛盾,通过选用运算能力更强的计算机和改进图像处理算法的效率,可以部分地解决精度和效率的矛盾问题。无论是为了提高检测精度还是为了提高检测效率,选用精度更好的镜头和更加稳定的光源都可以改善整体的性能指标。3.2 图像处理算法齿轮视觉检测技术中用到的图像处理算法有图像预处理、边缘检测、亚像素定位、特征提取和模式识别等。其中图像预处理方法与机器视觉其他应用场合的预处理方法基本相同。3.2.1 边缘检测算法齿轮视觉检测中常采用的边缘检测方法有经典微分算子、小波变换和数学形态学。边缘检测算法能够把齿轮二维端面图像中的关键轮廓提取出来,得到轮廓像素点的坐标集合。根据轮廓点的坐标信息和相机标定参数就可以精确计算出齿轮的特征尺寸,包括齿顶圆直径、齿根圆直径、内孔直径、齿高、齿厚和齿距等。1)经典微分算子图像边缘一般是图像灰度变化率最大的位置,因此可用一阶/二阶导数来检测边缘,由此诞生了一系列经典微分算子。根据微分的阶数可以将经典微分算子分为两类:一类是通过寻找图像灰度值的一阶导数极值点来确定边界的一阶微分算子,有Roberts 算子、Prewitt 算子、Sobel 算子、Canny 算子;另一类是根据图像二阶导数的零点来寻找边界的二阶微分算子,有Laplacian 算子、LoG(Laplacian-of-Gaussian)算子、DoG(Difference-of-Gaussian)算子。对这些经典微分算子在齿轮边缘检测中的性能进行了比较,如表1 所示。表1 经典微分算子在齿轮边缘检测中的性能比较Canny 算子采用双阈值和非极大值抑制策略提升对噪声的抗干扰性,具有滤波、增强、检测多个阶段的优化,是性能最优良的微分算子。对于齿轮图像,采用Canny 算子提取的齿廓信息最完整,最接近实际齿廓,如图8 所示。图8 基于Canny 算子的齿廓提取2)小波变换小波变换具有良好的时频局部化特性和多尺度特性。良好的时频局部化特性使其特别适用于检测突变信号,而图像中的突变信号对应边缘,因此小波变换也适用于图像边缘检测。利用Harr 小波函数对齿轮图像进行重构,再结合Canny 算子提取重构图像的齿廓,比单独采用Canny 算子有更优的效果。多尺度特性使其能很好地抑制噪声。图像中的噪声和边缘都属于高频分量,经典微分算子引入各种形式的微分运算后必然对噪声较为敏感,而随着尺度的增加,噪声引起的小波变换的模的极大值迅速减小,而边缘的模值不变,这一特性可以很好地抑制图像噪声。提出一种基于Curvelet 变换的尺度与方向相关性联合降噪方法,该方法对齿轮图像进行降噪处理,在继承小波变换多尺度降噪的基础上,同时进行尺度内方向相关性降噪,可以为齿轮边缘检测提供高质量的输入图像。因此,小波变换是一种齿轮图像边缘提取的有效方法。3)数学形态学数学形态学是基于积分几何和几何概率理论建立的关于图像形状和尺寸的研究方法,其实质是一种非线性滤波方法,通过物体形状集合与结构元素之间的相互作用对图像进行非线性滤波。由于数学形态学提取边缘时容易造成间距小的低灰度轮廓的错位和合并,因此常将其与微分算子提取出的轮廓加权融合。相关文献就提出了一种融合Canny 算子和数学形态学的含噪声齿轮图像边缘检测算法,分别采用改进的Canny 算子和多尺度多结构元素灰度形态学边缘检测算子提取边缘;然后对两幅边缘图像进行了小波分解,得到各层子图像;最后对子图像进行自适应加权融合,并使用小波逆变换重构图像得到最终的边缘检测图像。相关文献采用数学形态学中的四邻域腐蚀法提取出边缘宽度,并将其作为单个像素的轮廓,测量分度圆直径为5 mm 以下的齿轮的齿顶圆直径和齿根圆直径,与千分尺测量结果差值的绝对值在2 μm 以内。3.2.2 亚像素定位算法数字图像是以离散化的像素形式存在的,传统边缘检测算法的测量分辨率只能达到一个像素级,提取出的边缘由像素块构成,边缘定位精度不高,如图9(c)所示。亚像素定位算法是在像素级边缘检测的基础上逐渐发展而来的,首先需要经过像素级边缘检测粗定位,然后利用粗定位边缘点周围邻域内的像素数据进行边缘点的亚像素级精确定位,如图9(d)所示。图9 亚像素边缘处理亚像素定位算法主要有三类:矩方法、插值法和拟合法。1)矩方法矩方法计算简便,应用于齿轮边缘检测可以减小测量误差。相关文献提出一种利用前三阶灰度矩进行亚像素边缘定位的算法,这是文献中最早提出的矩方法。随后基于空间矩、Zernike 正交矩的方法也相继被提出。相关文献利用基于Zernike 矩的齿廓边缘检测算法,对齿顶圆直径为49. 751 mm、齿数为23 的齿轮测得的齿顶圆直径、齿根圆直径的相对误差在0. 02% 以内,齿距累积总偏差的相对误差约5. 15%。相关文献提出一种基于灰度矩的亚像素边缘检测算法,该算法以邻域窗口的灰度均方差积表示边缘强度,灰度重心所在的方向表示灰度变化的方向,在初始边缘的基础上按求取的灰度变化方向划分为八个区域,构建一维灰度矩模型解算亚像素边缘位置,对于噪声系数为0. 005 的模拟图像,该算法的绝对定位误差为0. 013 pixel。相关文献提出了一种复合亚像素边缘检测方法,该方法基于orthogonal Fourier-Mellin moment(OFMM),可为后续齿廓缺陷检测提供精确的齿廓形状。2)插值法插值法运算速度快,应用于齿轮在线检测设备能够满足生产节拍的要求。插值法的核心是对像素点的灰度值或灰度值的导数进行插值,以增加信息。德国MVtec 公司开发的著名机器视觉算法包Halcon 在工业领域应用广泛,其中的亚像素边缘检测算子采用的就是插值法。相关文献基于Halcon 算法包中的亚像素边缘检测算子,开发了一套齿轮测量应用程序,可以得到齿廓亚像素点集合,并设定条件剔除假边缘,最终得到齿顶圆直径等参数。3)拟合法拟合法对噪声不敏感,适用于噪声较多的齿轮图像,但求解速度较慢。拟合法是通过对像素坐标和灰度值进行理想边缘模型拟合来获得亚像素边缘的。相关文献提出一种基于高斯积分曲面拟合的亚像素边缘定位算法,可最大限度地消除噪声的影响,与原有高斯拟合算法相比,该算法通过坐标变换简化了曲面拟合问题,计算速度提高1 倍,可以满足五级精度的渐开线直齿圆柱齿轮的齿廓偏差测量要求。3.2.3 特征提取和模式识别算法缺陷检测算法一般由图像预处理、图像分割、特征提取和模式识别等步骤组成,其中特征提取和模式识别是缺陷检测的关键环节。特征提取的有效性对后续目标缺陷识别精度、计算复杂度、检测鲁棒性等均有重大影响。常用的特征提取算法可以分为三种,分别是基于纹理、颜色和形状的特征提取算法。提取完特征后,还需采用模式识别算法对缺陷进行区分。模式识别算法主要有匹配识别和分类识别两类。齿轮缺陷检测常用的匹配识别算法有FAST 和SIFT 算法等,常用的分类识别算法有基于人工神经网络或支持向量机的算法。相关文献提出了一种基于FAST-Unoriented-SIFT 提取算法和BoW(Bag-of-Words)模型的行星齿轮故障识别方法,该方法将原始振动信号转换为灰度图像后,通过FAST-Unoriented-SIFT 算法直接提取灰度图像中的特征。FAST-Unoriented-SIFT 算法结合了FAST 和SIFT 算法的优点,忽略了特征的方向。最后在提取的特征的基础上建立BoW 模型,该方法对齿轮故障的整体识别率达98. 67%。相关文献提出了一种改进的GA-PSO 算法,称为SHGAPSO算法,先经过图像分割算法提取齿轮的几何形状、纹理和颜色特征,再重建BP 神经网络,并使用SHGA-PSO 算法优化结构和权重。SHGA-PSO 算法对坏齿、划痕、磨损和裂纹4 种不同的齿轮缺陷样本的识别正确率在94% 以上。相关文献基于YOLO-v3 网络实现了对金属齿轮端面凸起、凹陷和划痕三种缺陷的快速检测和定位,对每幅图像的平均检测时间为77 ms,对三种缺陷的平均精确度(AP)和平均召回率(mean recall)分别为93% 和91%,检测效果如图10 所示。图10 齿轮缺陷特征提取与模式识别3.3 齿轮精度测量齿轮形状复杂,精度要求高。为保证齿轮产品质量,需要控制的齿轮精度指标有齿距偏差、齿廓偏差、螺旋线偏差、齿厚、齿圈跳动等,其中除螺旋线偏差外,其他精度指标都可以用齿轮端截面轮廓数据进行计算。齿轮精度测量主要有两个问题需要解决,一是通过图像处理获得被测齿轮的精确的端面轮廓信息,二是根据齿轮精度理论和相关齿轮精度标准计算齿轮各项偏差值并给出齿轮精度评定结果。通过齿轮精度等级,可以确定对视觉检测系统的测量精度要求。以齿数20、模数1 mm、5 级精度的直齿圆柱齿轮为例,其齿距累积总偏差为11 μm,齿廓总偏差为4. 6 μm。按测量仪器精度为被测指标允差的1/3~1/5 估算,测量5 级精度齿轮的测量仪的精度应优于1. 6 μm。这对视觉测量而言,是非常困难的。齿轮视觉测量精度依赖于测量系统的硬件和数据处理算法。由于所用相机、镜头等图像采集系统硬件和图像处理算法等软件的不同,以及被测对象齿轮的尺寸参数和精度要求不同,齿轮视觉检测系统的测量精度的差异很大,但在齿轮被测项目评定方面,都是根据齿轮精度相关标准进行的。相关文献依据齿轮精度标准ISO1328-1,给出了视觉测量齿距偏差和齿廓偏差的评定方法,对模数为0. 5 mm 的8 级精度直齿轮测得的齿距偏差、齿廓偏差与齿轮测量中心的测量结果差值最大为4 μm。相关文献采用视觉测量方法测量模数为2 mm、齿数为90的齿轮,齿廓总偏差5 次测量的标准差为0. 028 μm,取得了很好的测量重复性。相关文献提出了视觉测量齿轮的公法线长度的方法,其测量精度能够满足工程应用要求。齿轮精度视觉测量方面,国外研究进展与国内基本相当,研究内容类似。值得指出,Werth 公司推出的基于光纤测头的微小模数齿轮测量设备采用了接触式测量和视觉检测技术相结合的方法,该方法既具有视觉测量的特点,可借助视觉引导实现对微小齿槽的测量;又具有接触式测量的特点,需要用光纤测球扫描齿轮轮廓,测量精度较高但效率较低。由于仪器价格高,这种基于光纤测头的齿轮测量仪器实际应用较少。除了齿廓偏差、齿距偏差、齿厚等轮齿精度指标外,齿轮视觉测量技术还可以获得齿轮的形位误差。GB/T 1182—2018 规定齿轮图纸中通常要标注内孔圆度、端面跳动或垂直度、分度圆跳动等的形位公差,这些都可以通过视觉测量完成。此外,近年来出现了基于视觉方法的齿轮表面粗糙度测量研究。有文献提出一种基于卷积神经网络(CNN)建立粗糙度参数Ra 与处理后的齿轮感兴趣区域(ROI)图像之间关系的方法,该方法可以在无需人工参与的情况下自动检测齿轮表面粗糙度,平均测量时间约为0. 5 s,比使用接触探针测量齿面粗糙度的方法快40 倍。我国科技工作者在1970 年前后首创的齿轮整体误差测量技术可快速获取包含被测齿轮全部齿廓误差信息的双向截面整体误差曲线(SJZ),进而方便地分析出齿廓偏差、齿距偏差、齿厚变动量等齿轮误差项目,可以直观地对齿轮加工质量和使用性能进行分析和评价,具有测量效率高、信息全的优点。但由于作为测量元件的跳牙蜗杆制造困难、通用性不好,传统上齿轮整体误差测量技术通常只适用于大批量生产的齿轮产品。与齿轮整体误差测量技术类似,齿轮视觉测量技术也可以快速获得被测齿轮的全部齿廓信息,因此也可以使用齿轮整体误差曲线进行测量结果的表达、分析与处理。CVGM 视觉齿轮测量软件中就采用双向截面整体误差曲线作为全部齿廓测量结果的表达方式。图11 为CVGM 获取的SJZ 曲线,其中最外圈为左齿面整体误差曲线,其次为右齿面整体误差曲线,最内圈为齿轮内孔圆度误差曲线。图中可见被测齿轮具有中凸齿廓,整体几何精度较好,但在个别轮齿交替时(左齿面2-3 齿交替、3-4 齿交替)会产生较为明显的啮合冲击。其中,该被测齿轮作为被动齿轮在左齿面2 齿、3 齿啮入时会产生刚性冲击,作为主动齿轮在左齿面2 齿、3 齿啮出时会产生柔性冲击。从双向截面齿轮整体误差曲线还可以看出各轮齿齿距、齿厚的变化规律[9]。通过与齿轮视觉检测技术相结合,齿轮整体误差测量技术和齿轮整体误差理论又获得了新的发展机会。图11 CVGM 获取的双向截面整体误差曲线为提高测量精度,CVGM 创新性地提出了基于“ 虚拟样板”的齿轮测量软件精度标定方法。在CVGM 系统中,测量精度是分为两个环节进行保证‍‍‍的:首先通过测量标定片对图像采集系统的精度进行标定;其次使用虚拟齿轮样板对测量软件算法的精度进行标定。图12(a)为对标定片进行测量的结果,标定片上各个圆点的直径理论值为0. 5 mm,标定片的图形制造误差小于等于1 μm,CVGM 计算出的各个圆点的直径误差均在1 μm 以下。图12(b)为采用CAD 软件绘制的无误差的标准齿轮图像,图片像素大小与实际图像采集系统CVGM-12H 的像素大小相同,均为3. 668 μm。CVGM 对无误差齿轮图像进行测量时,由图像处理算法和齿轮精度评定算法引入的齿廓偏差小于等于2 μm,齿距偏差小于等于1 μm。试验中CVGM 系统测量重复性误差为±1μm,可以满足齿数为20、模数为1 mm、5 级精度的直齿圆柱齿轮的精度测量要求。此外,CVGM 软件还可以自动计算内孔圆度、齿圈跳动、公法线长度等误差项目。图12 CVGM 图像采集系统标定和“虚拟齿轮样板”图(a)标定片;(b)虚拟齿轮样板3.4 齿轮精度测量制造过程中由于材料、设备和工艺等问题,会产生齿轮缺陷。齿轮缺陷视觉检测技术的关键指标是缺陷识别的准确率和效率。图13 为齿轮的常见缺陷,包括毛刺(披锋)、缺料、裂纹、收缩、变形、穿孔、流纹、烧胶、凹痕、色差、坏齿、凸起、气泡和溢边等。齿轮视觉检测系统采集并处理齿轮表面图像,利用图像分割、特征提取和模式识别等算法获取缺陷的特征信息,实现对缺陷的定位、识别、分类和统计。图13 齿轮缺陷种类1)齿廓缺陷检测齿廓缺陷检测是齿轮缺陷检测研究中的重点,齿廓好坏与齿轮传动性能密切相关。齿廓具有固定的形状特征,一旦出现缺陷就意味着形状改变。因此,齿廓缺陷检测通常需要先用边缘检测算法提取齿廓边缘,再利用基于局部灰度特征统计或形状特征提取的方法对齿廓边缘的每个亚像素点进行几何特征分析来识别齿廓缺陷。相关文献通过连通域标记算法对每个连通域进行细分区域灰度值分析,对灰度值分析结果进行阈值判别从而提取齿轮缺角、缺齿缺陷。相关文献针对彩色塑料齿轮图像,采用基于决策树的局部阈值方法对图像进行分割来检测齿轮的缺齿情况。有文献提出“虚拟圆扫描法”,通过对一系列相关交点之间的距离比值与设定的比值系数进行比较,确定齿廓是否合格。当齿廓缺陷随机性较强时,可采用机器学习算法来提高识别的正确率。相关文献采用支持向量机来构造齿轮缺陷识别模型,模型识别齿廓缺陷的正确率达97. 8%。2)毛刺检测毛刺是齿轮在生产过程中出现的一些飞边、棱边、尖角等,是齿轮最为常见的缺陷。齿轮毛刺是齿轮制造工艺不当引起的,尺寸细小,肉眼难以发现,出现位置随机,较为频发,是齿轮缺陷检测中的必检项。由于毛刺常出现于齿轮轮廓边缘,因此通常需要进行边缘检测,再根据齿轮的几何特征来判别和定位毛刺。本团队针对注塑齿轮的中孔披锋(毛刺)缺陷,先采用亚像素定位算法精确定位中孔轮廓,再计算轮廓上各点到齿轮中心的径向距离,根据径向距离的异常值判定是否存在中孔披锋。3)表面异物检测齿轮的表面异物缺陷包括油污、黑点、材料中的杂质等。这类缺陷通常会构成图像上的连通域,通过图像分割、Blob 分析等方法可以得到连通域的质心坐标、面积、圆形度、凹凸度和惯量比等几何形状特征,从而获取表面异物的个数、位置和大小等信息。4)裂纹与流纹检测裂纹是金属齿轮的一种外观缺陷,与裂纹类似,流纹是注塑齿轮特有的一种外观缺陷。针对这两种缺陷的检测方法一般分为两个步骤:一是检测齿轮表面是否存在裂纹/流纹;二是提取裂纹/流纹。合格的齿轮产品表面较为光滑,灰度变化均匀;裂纹/流纹则与周围灰度值有明显差异,具有明显的纹理特征,因此常采用基于统计的灰度特征或阈值分割法进行提取。5)翘曲变形检测翘曲变形是注塑齿轮的常见缺陷类型,体现为塑料齿轮的几何形状与模具型腔的形状发生了偏离,超出了公差范围。通常可以通过测量塑料齿轮的特征尺寸(如齿距、齿厚)来识别。本团队选取斜齿轮齿厚标准差或直齿轮齿厚最小值作为特征值,利用支持向量机分类器进行翘曲变形缺陷判别,成功检测出200 个样品中的19 个存在翘曲变形缺陷的齿轮。6)多缺陷融合检测当齿轮表面缺陷特征较多时,通常要通过基于机器学习的目标分类算法来进行判别。如有文献提出一种改进的YOLO-v3 网络,用DenseNet 代替YOLOv3网络中的DarkNet-53 网络,对塑料齿轮的污痕和缺齿缺陷进行检测,误检率为1. 3%。相关文献采用基于CNN 的两种分类方法Naïve 法和fine-grained 法对齿轮的划痕、凸起、孔蚀、块状不对称缺陷进行识别,Naïve 法处理时间更少,平均时间为0. 09 s,准确率为92%,而fine-grained 方法在准确性方面更好,准确率为96. 5%,平均时间为0. 67 s。本团队研制的注塑齿轮在线检测分选系统能够实现对注塑齿轮材料杂质、黑点、油污、烧胶、毛刺、气泡、水口穿孔、缺齿、断齿、收缩、翘曲变形等多缺陷的融合检测,还可以测量齿轮几何尺寸和形位误差,特别是具有齿轮轴向测量功能,可实时分选出合格品和不合格品,具备报警功能,检测效率高、功能全,是目前注塑齿轮视觉在线检测专用设备。4 结束语特大齿轮(直径大于3000mm)测量和微小齿轮(直径小于2mm或模数小于0.1mm)测量属于“绝端测量”范畴。过去20年,对齿轮极端测量技术的研究取得了系列成果,有些已应用于实际齿轮测量中。随着齿轮视觉检测技术的发展,齿轮视觉检测仪器已经可以实现齿轮精度评价和齿轮缺陷检测,已在众多小模数齿轮生产企业得到应用,可以有效地管控产品质量、改进加工工艺、提高产能,取得了较好的使用效果。在齿轮视觉检测技术发展过程中,软件算法是技术壁垒和核心竞争力的集中体现。相对于齿轮精度测量,面向齿轮缺陷检测的技术较为成熟。目前,齿轮机器视觉测量仪器和技术的研究和应用主要集中在小模数齿轮领域的原因如下:在机器视觉测量中,测量精度和测量范围(视场范围)是一对矛盾,现有的机器视觉测量仪器难以同时满足中、大模数齿轮对视场范围和测量精度的要求;小模数齿轮的齿槽宽度小、轮齿刚性差,常规的接触式测量仪在测量小模数齿轮时效率低、测量困难,不能满足小模数齿轮的测量需求。但齿轮机器视觉测量技术也有不足。除了固有的测量精度相对较低的缺点外,由于轮齿遮挡问题,齿轮机器视觉测量技术目前不能实现对圆柱齿轮的螺旋线测量和对锥齿轮、斜齿内齿轮等特殊齿轮的测量,限制了齿轮机器视觉测量技术的推广和应用。在齿轮精度测量研究方面,提高视觉测量精度仍将是难点和着力重点;在齿轮缺陷检测研究方面,目前对齿轮缺陷检测的研究不够深入,可检的缺陷种类不全,提高缺陷识别准确率和效率是着力重点。随着人工成本的增加和产业升级需求的提升,在大规模齿轮生产过程中齿轮视觉在线检测设备的应用越来越多。齿轮视觉在线检测设备的特点有:耦合于生产线上,可高效测量批量齿轮的尺寸精度,实时监测齿轮质量,自动剔除不合格品,形成“生产-检测-分选”自动化流水线;对齿轮外观缺陷进行识别和分类,实现大批量齿轮的“应检尽检”,用“大数据”手段分析齿轮工艺问题,与生产管控系统互联,及时调整工艺参数,减少损失;实现齿轮质量长期监测,及时发现齿轮质量的异常变化;可实现网络化监管和远程监控,即使在千里之外也可以监控整个生产过程,把握生产动态。在未来,齿轮视觉检测技术必将纳入更多先进的科学技术,齿轮视觉检测仪器也将集成更多新技术,并充分发挥各项技术的优点,提升检测效率和精度。三维视觉检测技术、视觉检测设备的复合化、微型化和智能化将是齿轮视觉检测技术的发展趋势。未来每条齿轮产线的生产动态都可以集成到一个软件中进行分析,检测数据实时存储到云端,长期积累的庞大数据将为齿轮生产工艺带来巨大的变革。毫不夸张地说,视觉检测技术将会带来齿轮检测领域的革命,现在还仅仅处于入门口。(省略参考文献51篇)
Instrument.com.cn Copyright©1999- 2023 ,All Rights Reserved版权所有,未经书面授权,页面内容不得以任何形式进行复制