高精度视觉测量系统

近日，宁波材料所所属先进制造技术研究所机器视觉团队研制出高精度机器视觉检测平台。该平台的优异性能使其在各种精密电子、仪器仪表、晶圆科技、刀具、塑胶、精密零件、弹簧、冲压件、接插件、模具、五金塑胶、PCB板、导电橡胶、粉末冶金、螺丝、钟表零件、手机、液晶、医药工业、光纤器件、汽车工程、航天航空、军工等领域具有广泛应用空间。　　高精度机器视觉检测平台采用了轴式直线电机，相对于传统电机和第一、第二代直线电机，轴式直线电机的磁场利用率高达100%，具有永磁体用量少、推力大、运行平稳结构简单、免维护寿命长等特点。另外，直线电机不需要使用机械传动部件，在国内机械传动部件制造水平相对落后的现状下，利用轴式直线电机可实现精密可靠的运动平台。　　在轴式直线电机运动平台的基础上，机器视觉团队利用其自身的优势，开发了快速、准确、易用的测量软件。其先进的相机标定、校准技术可保证实现微米级精度的非接触式测量 先进的自动特征检测定位算法可以准确、快速地定位用户预先设定的测量点，并按用户预订的测量需求进行自动的大批量重复测量，所需的人工操作可简化到一次鼠标操作。　　我国精密测量技术和仪器的现状仍然远远不能满足国内机械装备制造业迅速发展的需求，通过发展精密的自动测量系统，必将推动国内机械装备制造业的发展，缩短与国外先进水平的差距，进一步推动国产装备向高附加值方向发展。

新一代飞机向着大型、重载、长寿等方向发展，对其装配质量、精度等提出更高的要求。装配中几何尺寸、物理损伤等的高精度测量是调控飞机装配工艺、保证装配指标的基础和关键，对飞机服役性能有着重要的影响。本文围绕新一代飞机结构尺寸大幅增加、承力结构复材化发展下的需求，论述了大型飞机装配中高精度测量技术的研究进展，具体从大空间点位高精度测量方法、大型结构外形高精度测量方法、复合材料结构装配缺陷高精度检测技术等方面对国内外理论研究和技术应用进行了梳理和总结，并指明相关技术的未来发展趋势和前景。1 飞机装配那些事儿 飞机装配是飞机制造的关键环节，装配过程中涉及的学科范围广、技术标准要求高，属于典型的高端装备制造技术。飞机装配是将各种零、组、部件按照规定的技术条件和质量要求进行配合与连接，并进行检验与试验的工艺过程，装配的质量直接决定了飞机产品的外形精度、制造质量和服役性能等。 新一代飞机向着大型、重载、长寿等方向发展，其制造也向着高精度、低成本、柔性化、智能化等方向转变，对装配的精度、效率与质量均提出了更高的要求。此外，以纤维增强型复合材料为代表的轻质高强材料也逐渐由次承力结构升级为主承力结构。对此，开展大型飞机的大空间高精度测量、复合材料损伤的高精度检测方向的研究，是新一代飞机高效、高质装配的强有力支撑。图1高精度测量技术在飞机装配现场的应用2 飞机装配大空间测量场高精度测量方法 传统大空间测量场多使用单台或者单种测量设备进行构建，为满足大尺寸部件的高精度测量需求，组合式测量系统应运而生。通过组合多个测量设备或不同测量系统，往往可以达到一个较好的效果。 由于大空间测量场的特点，需要对其进行坐标配准，即将测量点坐标转换到全局坐标系下，并将数据进行融合。坐标配准、环境等因素往往会影响测量场的精度，所以还需要对测量场进行不确定度评估，并对误差进行补偿。因此，测量场配置优化、坐标系配准和不确定性评估等三个方面的内容是影响大空间测量场测量精度和效率的关键技术。图2 组合式大尺寸测量3 飞机大部件装配外形数字化高精度测量方法 飞机装配是保证飞机外形精度的重要环节，提高飞机部件装配外形检测水平对于提升飞机制造质量具有重要意义。飞机装配部件外形尺寸大、曲面形状复杂、型面测量数据量大，传统单一测量设备测量精度和效率之间的矛盾突出。随着近年来数字化测量技术的不断发展，其广泛应用于飞机大部件装配外形测量过程中，尤其在飞机大尺寸外形轮廓检测、飞机蒙皮对缝间隙、阶差检测以及铆钉平齐度检测等应用中展现出较大优势，这归功于其测量精度和效率的提高以及测量范围的扩大。在测量过程中会产生大量的点云数据，对大规模点云数据进行有效的优化处理对后续测量模型建立的准确度以及相关测量数值的精度十分重要。本章将具体针对数字化测量技术在飞机外形轮廓及蒙皮表面质量检测过程中的应用以及大规模点云数据的处理方法展开介绍。3.1　飞机大尺寸外形轮廓高精度检测航空产品中的大部件装配曲面外形准确度决定着飞机的气动/隐身性能，采用合理的方式对飞机大部件装配外形进行检测尤为重要。飞机曲面外形具有尺寸大、形状复杂、测量数据量大的特点，通常采用数字化测量方法实现大部件外形的高精度测量。早期数字化测量多采用接触式测量方法，以三坐标测量机为代表，常应用于整体叶片型面、中间整流罩的检测过程中。接触式测量具有测量精度高的优点，但缺点是效率低、易划伤目标表面且无法实现自动化测量。激光扫描法、结构光法、激光雷达法、摄影测量法等非接触式测量方法的出现提升了测量范围和测量效率，而且可开发性和自动化程度高的特点使它们在飞机大部件外形自动化测量方面展现出优势。表1列举了几种数字化测量系统并对其主要参数及优缺点进行了分析对比。表 1. 外形数字化测量系统对比但随着测量要求的进一步提高，单一设备无法兼顾测量精度和测量效率的矛盾愈发明显，近年来许多学者通过构建数字化组合测量系统，使设备性能互补，从而提高测量精度与效率。将关节臂测量仪、激光跟踪仪以及摄影测量组合，在飞机内襟翼上翼面外形精度测量上进行应用与验证，在保证外形测量精度的同时进一步提高了测量效率。此外，结合结构光重建和摄影测量技术也可实现高精度、高效率、非接触的大尺寸飞机结构外形的三维重建，精度可达到亚毫米量级（0.16 mm以下）。如图6所示。图 3 基于后方摄像机视觉定位的全局三维重建原理图为了进一步提升飞机大部件曲面外形的测量精度，需要对数字化测量系统进行站位规划与测量轨迹规划。测量仪器的站位规划是数字化测量的前提，站位的合理性直接影响着测量效率和精度。早期测量站位主要由操作者的经验决定，往往需要反复调整才能满足测量要求，测量效率低，难以满足现代飞机高效的测量需求。针对激光雷达测量飞机大部件外形测量需求，采用基于区域生长算法的站位规划方法得到初始站位，之后引入测量不确定度对其进行优化，该方法相比于经验法和聚类算法更具可行性和有效性。而对于飞机大型蒙皮柔性测量系统，效率优化的扫描站位规划被提出，提升了扫描效率和完整性。此外，规划轨迹可以使测量设备在满足测量条件的情况下充分发挥性能，最大程度上降低系统误差，提高扫描数据的精确度，从而提升测量精度与测量效率。对于包含激光跟踪仪和工业机器人的自动化扫描系统中的测量轨迹规划问题，首先在CATIA中按照结构特征类别进行轨迹的初始规划，之后对测量误差进行分析，建立系统误差预测模型并通过粒子群算法对测量轨迹做进一步优化，可达到快速找到满足扫描约束的同时系统误差最小的姿态的目的，从而提高曲面扫描的测量精度。为了提升结构光的检测精度，一种以改进贪心算法为基础的覆盖路径规划方法被提出，降低了视点数目，提升了结构光检测精度，从而提升了曲面外形测量精度，如图4所示。图 4 测量不确定度对比图。（a）文献方法；（b）目标采样法3.2　飞机部件外形表面质量高精度检测高精度数字化测量技术也广泛应用于飞机外形表面质量检测过程中，包括蒙皮对缝检测以及铆钉平齐度检测等。飞机蒙皮主要通过铆钉固定在机翼骨架外围，其作用是维持飞机的气动外形，必须承担一定的局部气动力，装配时要保证蒙皮对缝的间隙及阶差在允许范围内。此外，蒙皮表面铆钉平齐度对飞机的隐身性能及气动性能也有着比较重要的影响，随着新一代战机对隐身性能及气动外形的要求越来越高，相应地对飞机蒙皮铆接质量提出了更高要求。传统的蒙皮对缝检测采用塞尺测量，对人工操作要求高、效率低、误差较大，且不能有效采集和处理测量数据。随着数字化测量技术的不断发展，为了提高缝隙测量的精度和效率，国内外学者以线结构光视觉测量和激光扫描为代表的非接触测量方法应用于对缝检测中，如图8所示，相关的数字化检测设备，包括美国Origin Technologies公司的Laser Gauge系列产品、德国8Tree公司的Gap Check相关产品等均采用非接触测量方法快速测量蒙皮阶差和间隙。线结构光视觉传感器可以实现对蒙皮对缝阶差与间隙的尺寸测量，阶差和间隙的重复测量精度分别达到了0.04 mm和0.05 mm以下。针对二维激光对缝检测多次测量重复精度不高的问题，基于三维激光扫描的蒙皮对缝检测方法被提出，其间隙和阶差测量精度可分别达到0.04 mm和0.02 mm。此外，有学者利用机器视觉的方法，提出了一种基于改进优化算法的飞机蒙皮对缝视觉测量方法，达到精确测量蒙皮对缝间隙的目的，测量精度达到了0.02 mm以下。图 5 基于线结构光的阶差与间隙测量模型对于铆钉齐平度的检测，传统的检测靠人工抽检来实现，即采用传统卡尺或指针式三脚千分表手动检测，测量误差大且有较大局限性。非接触式数字化测量技术在铆钉平齐度检测方面同样展现出优势，构建双目多线结构光测量系统对铆钉齐平度进行测量，可实现对蒙皮表面铆钉头部凸台或凹坑特征的精准测量，精度可达到0.03 mm以下，但该系统无法同时测量多个铆钉。而基于3D激光扫描仪的图像采集系统，利用深度学习算法分析处理采集到的图像，可以同时检测多个结果，效率高，重复检测精度达到0.015 mm，精度相比人工抽检提高较大。此外，针对铆钉逐一检测任务量大且检测可靠度低的不足，基于面结构光的铆钉平齐度检测方法先提出了一种图像噪声轮廓分割方法，之后基于图像-点云映射策略实现了快速且稳定的分割铆钉点云，铆钉平齐度测量偏差达到了0.006 mm以下。如图6所示。图 6 铆钉标准件及平齐度测量结果。（a）标准件；（b）测量结果随着近年来数字化测量技术的不断发展，其广泛应用于飞机大部件装配外形测量过程中，尤其在飞机大尺寸外形轮廓检测、飞机蒙皮对缝间隙、阶差检测以及铆钉平齐度检测等应用中展现出较大优势，这归功于其测量精度和效率的提高以及测量范围的扩大。在测量过程中会产生大量的点云数据，对大规模点云数据进行有效的优化处理对后续测量模型建立的准确度以及相关测量数值的精度十分重要。4 面向复合材料装配缺陷的高精度检测技术 航空复合材料具有重量轻、比刚度大等优点，既能减轻飞机重量，也提高了飞机的整体互换性，方便维护，在飞机制造领域得到了广泛的应用。但此类复合材料由于装配时的应力变化会产生脱粘、分层、夹杂等装配缺陷，对产品的安全使用及长时间服役造成严重威胁，因此需要对复合材料装配过程中产生的缺陷进行高精度检测。 针对不断装机应用的各种新的航空复合材料、新的复合材料成型工艺、新的复合材料结构和新的检测与缺陷评估要求，从检测方法分类上，主要体现在：激光检测、超声检测、X射线检测和太赫兹检测技术等。近几年，随着众多学者对信号处理、图像处理和三维信号重构等技术的研究，使得检测精度和缺陷数据后处理能力逐步提升，面向复合材料装配缺陷高精度检测方法及技术逐步趋于智能化、自动化、可视化。图4 复合材料缺陷三维可视化[1]5 飞机装配测量为我国飞机制造保驾护航 大尺寸高精度测量技术已经成为但广泛应用中的核心关键技术尚处在积累阶段，需要不断的应用验证。数字化测量系统正朝着便携、网络、高效、精密方向发展，飞机装配大尺寸高精度测量技术也已从单一技术走向多传感器技术的融合。 对于飞机装配大空间测量场高精度测量，传统方法多基于单台或单种测量设备，导致精度及效率不足，通过测量场配置优化、坐标系优化、精度评估与补偿等技术来提升测量场的构建效率及精度是当前及未来的提升方向。而对于飞机大部件装配外形数字化高精度测量，飞机部件装配外形尺寸大、曲面形状复杂，型面测量数据量大，单一设备测量精度和效率之间矛盾突出。通过优化测量轨迹、提高视觉检测精度、大规模点云数据融合等技术手段充分发挥各测量设备的优点，来保证飞机大尺寸外形轮廓和飞机外形表面质量检测应用过程中的效率及精度。 因此，组合式数字化测量系统及多技术的融合研究是未来发展和提升的重要方向。在保持高检测精度的前提下，智能化、可视化、自动化的无损检测是未来的发展方向。 在数字化工厂和智能制造的背景下，根据目前大型飞机装配中的高精度测量技术及系统的特点，未来应立足于具体型号及实际应用场景，深入开展高精度测量技术及系统的应用和研究，并形成相应技术体系，充分发挥数字化高精度测量技术的优势。未来，多数字化测量系统协同工作，大空间数字化测量场构建，部件装配外形数字化及装配缺陷检测，这对提高我国飞机制造的水平和核心竞争力具有十分重要的意义。参考文献：[1] Qin L, Zhang S, Song Y, et al. 3D ultrasonic imaging based on synthetic aperture focusing technique and space-dependent threshold for detecting submillimetre flaws in strongly scattering metallic materials[J]. NDT & E International. 2021, 124: 102523.原文下载：张开富, 史越, 骆彬, 童长鑫, 潘婷, 乔木. 大型飞机装配中的高精度测量技术研究进展.pdf通讯作者介绍 张开富，西北工业大学教授、博士生导师，教育部“长江学者”特聘教授、冯如航空科技精英奖获得者，飞行器高性能装配工业和信息化部重点实验室负责人，兼任中国图学学常务理事、中国机械工程学会生产工程分会技术委员会委员。长期从事航空航天制造领域先进装配与连接、结构损伤及疲劳等研究工作，主持国家自然科学基金、国家重点研发计划、重大型号攻关计划等项目近20项，发表高水平学术论文70余篇、授权中国发明专利27件，主持制定航空行业标准2项，以第一完成人获国家科学技术进步二等奖、陕西省自然科学奖一等奖、陕西省科学技术一等奖各1项。课题组介绍 西北工业大学航空宇航装配团队依托于工业和信息化部重点实验室、西北工业大学航空宇航科学与技术学科（A+学科、双一流学科），获批陕西省科技创新团队、国防科技创新团队，长期从事航空航天领域装配建模与优化、先进装配与连接工艺、复材结构设计制造、智能测试技术与工艺等方向研究。团队拥有正高级职称人员6人（其中国家级人才3人）、副高级职称人员6人，硕博士研究生80余人。近年来，团队承担国家级科研项目30余项，授权国家发明专利50余项，在Composite Science and Technology、IEEE Transactions on Robotics、Additive Manufacturing、Composites Part B、航空学报、复合材料学报、机械工程学报等期刊发表学术论文百余篇，参与制定行业标准/型号研制规范10余项，研究成果在运20、C919、ARJ21等我国航空航天重大型号得到持续工程应用，先后获国家科学技术进步二等奖1项、省部级一等奖2项、其他省部级奖励5项。

凭借应用智能、控制可靠、效率便捷的优势，工业机器人已逐渐取代传统的人工作业，成为机械加工、焊接、铸造等行业的重要生产力。同时，被誉为“工业之眼”的高精度3D视觉技术，正在工业机器人的落地应用中发挥着重要的推动作用。本期，将为大家揭秘高精度3D视觉技术如何加速工业机器人的创新应用。目前，工业机器人的应用要求按照数字系统中设定的坐标系进行作业。如何才能将工业机器人的数字化作业系统与需作业的实物信息相连接？高精度工业3D扫描技术给出了答案，通过获取实物完整的三维数据并将其导入数字化系统中，把物体的尺寸信息、空间位置转化成数字化信息，赋予工业机器人“视觉”能力。应用案例：锻造模具修复以工业机器人代替人工进行锻造模具的修复作业，实现了工作的高效率和连续性。但是，如何让机器人“识别”模具需要修复的具体位置，以及怎样规划其作业路径，是实现工业机器人自动化完成堆焊作业的困境。先临天远的FreeScan Combo 计量级双光源手持三维扫描仪的助力，让问题迎刃而解。FreeScan Combo扫描需修复的模具，可获取其完整的三维数据。将扫描获取数据与原始CAD设计数模进行对比，即可得出堆焊机器人需要作业的具体数值。此外，扫描获取的数据还为模具的物理信息变成数字化信息提供数据基础。只需把相关数据导入软件，就能让机器人准确“识别”模具需要修复的位置和形状，提升自动化模具修复的准确率。应用案例：集成化智能打磨由先临三维用户自主研发，针对大型铸件的工业机器人智能打磨技术方案，结合高精度工业3D扫描技术、工业机器人技术、自动控制技术等，与人工打磨相比，效率提高30%-50%，综合成本降低20%以上。这一方案中，先临天远兼具“高精度、高效、便携”等优势的FreeScan UE Pro 多功能激光手持三维扫描仪，通过优化机器人路径规划流程，完善了该项技术方案的数字化应用闭环。利用FreeScan UE Pro高效获取完整铸件的三维数据，数字化系统会根据这些数据进行机器人路径规划。高精度工业3D扫描仪，改变了传统方式中人工打点获取数据这一费时费力的方式，从而使智能打磨技术方案的整体效率大幅提升。从一种能力到多种能力，面对工业4.0对智能制造提出的生产力新要求，工业机器人+高精度工业3D扫描仪的组合，充分发挥各自的优势，实现精准定位、高效高质的自动化工作流程。高精度工业3D扫描仪的加成，不仅让工业机器人的作业愈加准确灵活，更助推多种创新解决方案的成熟落地，为工业机器人的应用带来无限可能。不局限于工业机器人，先临三维正将高精度3D视觉技术融合人工智能算法，向集成化、模块化、智能化、无线传输、云端计算等方向持续技术创新，不断引领高精度3D视觉技术的应用新趋势。