自动缺陷检测仪

table width="633" cellspacing="0" cellpadding="0" border="1"tbodytr style=" height:25px" class="firstRow"td style="border: 1px solid windowtext padding: 0px 7px " width="130" height="25"p style="line-height:150%"span style=" line-height:150% font-family:宋体"成果名称/span/p/tdtd colspan="3" style="border-color: windowtext windowtext windowtext currentcolor border-style: solid solid solid none border-width: 1px 1px 1px medium border-image: none 100% / 1 / 0 stretch padding: 0px 7px " valign="bottom" width="503" height="25"p style="text-align:center line-height:150%"strongspan style=" line-height:150% font-family:宋体"油气管道缺陷漏磁成像检测仪/span/strong/p/td/trtr style=" height:25px"td style="border-color: currentcolor windowtext windowtext border-style: none solid solid border-width: medium 1px 1px border-image: none 100% / 1 / 0 stretch padding: 0px 7px " width="130" height="25"p style="line-height:150%"span style=" line-height:150% font-family:宋体"单位名称/span/p/tdtd colspan="3" style="border-color: currentcolor windowtext windowtext currentcolor border-style: none solid solid none border-width: medium 1px 1px medium padding: 0px 7px " width="503" height="25"p style="line-height:150%"span style=" line-height:150% font-family:宋体"清华大学/span/p/td/trtr style=" height:25px"td style="border-color: currentcolor windowtext windowtext border-style: none solid solid border-width: medium 1px 1px border-image: none 100% / 1 / 0 stretch padding: 0px 7px " width="130" height="25"p style="line-height:150%"span style=" line-height:150% font-family:宋体"联系人/span/p/tdtd style="border-color: currentcolor windowtext windowtext currentcolor border-style: none solid solid none border-width: medium 1px 1px medium padding: 0px 7px " width="164" height="25"p style="line-height:150%"span style=" line-height:150% font-family:宋体"黄松岭/span/p/tdtd style="border-color: currentcolor windowtext windowtext currentcolor border-style: none solid solid none border-width: medium 1px 1px medium padding: 0px 7px " width="158" height="25"p style="line-height:150%"span style=" line-height:150% font-family:宋体"联系邮箱/span/p/tdtd style="border-color: currentcolor windowtext windowtext currentcolor border-style: none solid solid none border-width: medium 1px 1px medium padding: 0px 7px " width="181" height="25"p style="line-height:150%"span style=" line-height:150% font-family:宋体"huangsling@tsinghua.edu.cn/span/p/td/trtr style=" height:25px"td style="border-color: currentcolor windowtext windowtext border-style: none solid solid border-width: medium 1px 1px border-image: none 100% / 1 / 0 stretch padding: 0px 7px " width="130" height="25"p style="line-height:150%"span style=" line-height:150% font-family:宋体"成果成熟度/span/p/tdtd colspan="3" style="border-color: currentcolor windowtext windowtext currentcolor border-style: none solid solid none border-width: medium 1px 1px medium padding: 0px 7px " width="503" height="25"p style="line-height:150%"span style=" line-height:150% font-family:宋体"□正在研发 □已有样机 □通过小试 □通过中试 √可以量产/span/p/td/trtr style=" height:25px"td style="border-color: currentcolor windowtext windowtext border-style: none solid solid border-width: medium 1px 1px border-image: none 100% / 1 / 0 stretch padding: 0px 7px " width="130" height="25"p style="line-height:150%"span style=" line-height:150% font-family:宋体"合作方式/span/p/tdtd colspan="3" style="border-color: currentcolor windowtext windowtext currentcolor border-style: none solid solid none border-width: medium 1px 1px medium padding: 0px 7px " width="503" height="25"p style="line-height:150%"span style=" line-height:150% font-family:宋体"□技术转让 □技术入股 √合作开发 □其他/span/p/td/trtr style=" height:113px"td colspan="4" style="border-color: currentcolor windowtext windowtext border-style: none solid solid border-width: medium 1px 1px border-image: none 100% / 1 / 0 stretch padding: 0px 7px " width="633" height="113"p style="line-height:150%"strongspan style=" line-height:150% font-family: 宋体"成果简介：/span/strong/pp style="text-align: center"img src="http://img1.17img.cn/17img/images/201803/insimg/535b780e-209f-499c-8eac-4b2660e45d03.jpg" title="1.png" style="width: 400px height: 244px " width="400" vspace="0" hspace="0" height="244" border="0"//pp style="text-align: center"img src="http://img1.17img.cn/17img/images/201803/insimg/66d725c7-b535-4688-a237-f7d2519803e6.jpg" title="2.png" style="width: 400px height: 267px " width="400" vspace="0" hspace="0" height="267" border="0"//pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"油气管道缺陷漏磁成像检测仪是由strong清华大学黄松岭教授科研团队/strong结合多年的管道电磁无损检测理论研究与工程经验，设计并研发的可strong针对不同口径/strong油气管道进行缺陷检测的系列化产品。/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"油气管道缺陷漏磁成像检测仪采用本项目开发的先进的strong复合伸缩式柔性采集技术/strong，能够保证检测仪在强烈振动、管道局部变形等情况下与管道全方位有效贴合，在越障、管道缩径、过弯等特殊工况下表现出优异性能，并通过strong分布式磁路结构/strong优化和strong并行数字采集/strong单元实现了检测仪的轻型化、智能化。/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"相比于国内外同类检测仪器，本项目油气管道缺陷漏磁成像检测仪在诸多关键技术指标上具有明显优势，检测仪能适应的管道strong最小转弯半径为1.5D/strong（D为管道外径），strong管道变形通过能力为18%D/strong，strong缺陷检测灵敏度为5%t/strong（t为壁厚），性能指标处于国际领先水平。/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"检测仪还配套开发了strong数据自动分析智能专家系统/strong，能够对对管道缺陷及附属特征进行strong自动识别、量化、成像与评估/strong，支持先验判断和人工辅助分析，并基于管道压力评估和金属损失评估，提供在役管道评估维修策略。缺陷strong长度量化误差小于8mm、宽度量化误差小于20mm、深度量化误差小于10%t/strong。/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"基于本项目的关键技术，已strong授权国内外发明专利112项/strong， 形成了完整的自主知识产权体系。开发的系列化油气管道缺陷漏磁成像检测仪已应用于西气东输、胜利油田、加拿大西部油气管道等国内外检测工程中，积累了丰富的仪器研发和工程检测经验，项目技术还可推广应用于铁路、钢铁、汽车、核能、航天等领域。/span/p/td/trtr style=" height:75px"td colspan="4" style="border-color: currentcolor windowtext windowtext border-style: none solid solid border-width: medium 1px 1px border-image: none 100% / 1 / 0 stretch padding: 0px 7px " width="633" height="75"p style="line-height:150%"strongspan style=" line-height:150% font-family: 宋体"应用前景：/span/strong/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"油气管道缺陷漏磁成像检测仪适用于电磁无损检测领域，主要应用在石油和天然气输送管道的在线缺陷检测工程中，可及时发现油气管道的腐蚀缺陷以便采取积极措施进行修复，保障油气管道的正常运行、油气资源的安全输送。且本项目的关键技术成果还可推广应用于铁路、钢铁、汽车、核能、航天等领域的铁磁性构件的缺陷检测，如动车空心轴、金属管棒材、活塞杆、核电换热管、航空复合管等，对诸多行业的设备结构健康安全检测有积极的推动作用。/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"经贸委于2000年发布《石油天然气管道安全监督与管理暂行规定》，要求“新建管道必须在一年内检测，以后视管道安全状况每一至三年检测一次”，相比于国外工程检测，本项目工程检测费用仅为国外检测费用的三分之一，具有较强的竞争优势。且本项目开发的系列油气管道缺陷漏磁成像检测仪已在西气东输、胜利油田、加拿大西部油气管道等众多油气管道检测工程中应用，积累了丰富的工程检测经验，缺陷识别准确率高、用户反馈良好。近年来，在“一带一路”战略框架下，我国将进一步加大与周边国家在油气领域的战略合作，这对油气安全输送与管道缺陷检测提出了更高的要求，且随着越来越多的油气管道投入运行和在役管道使用年限的增长，以及本项目开发的系列油气管道缺陷漏磁成像检测仪在检测性能、价格等方面的诸多优势，将拥有更多的工程检测需求和更广阔的市场应用前景。/span/p/td/trtr style=" height:72px"td colspan="4" style="border-color: currentcolor windowtext windowtext border-style: none solid solid border-width: medium 1px 1px border-image: none 100% / 1 / 0 stretch padding: 0px 7px " width="633" height="72"p style="line-height:150%"strongspan style=" line-height:150% font-family: 宋体"知识产权及项目获奖情况：/span/strong/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"研发的油气管道缺陷漏磁成像检测仪具有自主知识产权，围绕油气管道检测理论研究及仪器研发核心关键技术，申请并授权了国内外发明专利112项，开展的相关项目获得多项省部级及行业奖项。/span/pp style="text-indent:28px line-height:150%"strongspan style=" line-height:150% font-family:宋体"知识产权情况：/span/strong/pp style="text-indent:28px line-height:150%"strongspan style=" line-height:150% font-family:宋体"中国发明专利：/span/strong/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"海底油气管道缺陷高精度内检测装置，ZL201310598517.0/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"一种全数字化高精度三维漏磁信号采集装置，ZL201310460761.0/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"油气管道缺陷内检测器里程测量装置，ZL201310598590.8/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"管道三维漏磁成像检测浮动磁化组件，ZL201410281568.5/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"浮动式管道内漏磁检测装置的手指探头单元，ZL201310598515.1/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"三维漏磁检测缺陷复合反演成像方法，ZL201510239162.5/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"管道三维漏磁成像缺陷量化方法，ZL201410799732.1/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"基于交直流复合磁化的漏磁检测内外壁缺陷的识别方法，ZL200810055891.5/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"基于三维有限元神经网络的缺陷识别和量化评价方法，ZL200610164923.6/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"管道腐蚀缺陷类型识别方法，ZL200410068973.5等/span/pp style="text-indent:28px line-height:150%"strongspan style=" line-height:150% font-family:宋体"美国发明专利：/span/strong/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"IMAGING METHOD AND APPARATUS BASED ON MAGNETIC FULX LEAKAGE TESTING, US2016-0161448/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"AN INNER DETECTING DEVICE FOR SUBSEA OIL AND GAS PIPELINE/spanspan style=" line-height: 150% font-family:宋体"，US2015-0346154/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"METHOD AND APPARATUS FOR QUANTIFYING PIPELINE DEFECT BASED ON MAGNETIC FLUX LEAKAGE TESTING, US2016-0178580/spanspan style=" line-height:150% font-family:宋体"等/span/pp style="text-indent:28px line-height:150%"strongspan style=" line-height:150% font-family:宋体"英国发明专利：/span/strong/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"An inner detecting device for subsea oil gas pipeline, GB2527696/span/pp style="text-indent:28px line-height:150%"strongspan style=" line-height:150% font-family:宋体"日本发明专利：/span/strong/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"海中の石油ガスパイプライン用の内部検出装置，JP6154911 /span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"加拿大发明专利：/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"AN INNER DETECTING DEVICE FOR SUBSEA OIL AND GAS PIPELINE/spanspan style=" line-height: 150% font-family:宋体"，CA2,888,756/span/pp style="text-indent:28px line-height:150%"strongspan style=" line-height:150% font-family:宋体"项目获奖情况：/span/strong/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"2017/spanspan style=" line-height:150% font-family:宋体"年湖北省技术发明一等奖/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"2014/spanspan style=" line-height:150% font-family:宋体"年北京市科学技术奖一等奖/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"2014/spanspan style=" line-height:150% font-family:宋体"年国家知识产权局中国专利优秀奖/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"2013/spanspan style=" line-height:150% font-family:宋体"年中国产学研创新成果奖/span/pp style="text-indent:28px line-height:150%"span style=" line-height:150% font-family:宋体"2009/spanspan style=" line-height:150% font-family:宋体"年石油和化工自动化行业科学技术一等奖/span/p/td/tr/tbody/tablepbr//p

上接：晶圆表面缺陷检测方法综述【上】4. 基于机器学习的晶圆表面缺陷检测机器学习主要是将一个具体的问题抽象成一个数学模型，通过数学方法求解模型，求解该问题，然后评估该模型对该问题的影响。根据训练数据的特点，分为监督学习、无监督学习和半监督学习。本文主要讨论这三种机器学习方法在晶圆表面缺陷检测中的应用。机器学习模型比较如表2所示。表 2.机器学习算法的比较。分类算法创新局限监督学习KNN系列对异常数据不敏感，准确率高。复杂度高，计算强度高。决策树-Radon应用Radon以形成新的缺陷特征。过拟合非常熟练。SVMSVM 可对多变量、多模态和不可分割的数据点进行高效分类。它对多个样本不友好，内核函数难以定位。无监督学习多层感知器聚类算法采用多层感知器增强特征提取能力。取决于激活函数的选择。DBSCAN可以根据缺陷模式特征有选择地去除异常值。样本密度不均匀或样本过大，收敛时间长，聚类效果差。SOM高维数据可以映射到低维空间，保持高维空间的结构。目标函数不容易确定。半监督学习用于增强标记的半监督框架将监督集成学习与无监督SOM相结合，构建了半监督模型。培训既费时又费时。半监督增量建模框架通过主动学习和标记样本来增强模型性能，从而提高模型性能。性能取决于标记的数据量。4.1. 监督学习监督学习是一种学习模型，它基于该模型对所需的新数据样本进行预测。监督学习是目前晶圆表面缺陷检测中广泛使用的机器学习算法，在目标检测领域具有较高的鲁棒性。Yuan，T等提出了一种基于k-最近邻（KNN）的噪声去除技术，该技术利用k-最近邻算法将全局缺陷和局部缺陷分离，提供晶圆信息中所有聚合的局部缺陷信息，通过相似聚类技术将缺陷分类为簇，并利用聚类缺陷的参数化模型识别缺陷簇的空间模式。Piao M等提出了一种基于决策树的晶圆缺陷模式识别方法。利用Radon变换提取缺陷模式特征，采用相关性分析法测度特征之间的相关性，将缺陷特征划分为特征子集，每个特征子集根据C4.5机制构建决策树。对决策树置信度求和，并选择总体置信度最高的类别。决策树在特定类别的晶圆缺陷检测中表现出更好的性能，但投影的最大值、最小值、平均值和标准差不足以代表晶圆缺陷的所有空间信息，因此边缘缺陷检测性能较差。支持向量机（SVM）在监督学习中也是缺陷检测的成熟应用。当样本不平衡时，k-最近邻算法分类效果较差，计算量大。决策树也有类似的问题，容易出现过度拟合。支持向量机在小样本和高维特征的分类中仍然具有良好的性能，并且支持向量机的计算复杂度不依赖于输入空间的维度，并且多类支持向量机对过拟合问题具有鲁棒性，因此常被用作分类器。R. Baly等使用支持向量机（SVM）分类器将1150张晶圆图像分为高良率和低良率两类，然后通过对比实验证明，相对于决策树，k-最近邻（KNN）、偏最小二乘回归（PLS回归）和广义回归神经网络（GRNN），非线性支持向量机模型优于上述四种晶圆分类方法。多类支持向量机在晶圆缺陷模式分类中具有更好的分类精度。L. Xie等提出了一种基于支持向量机算法的晶圆缺陷图案检测方案。采用线性核、高斯核和多项式核进行选择性测试，通过交叉验证选择测试误差最小的核进行下一步的支持向量机训练。支持向量机方法可以处理图像平移或旋转引起的误报问题。与神经网络相比，支持向量机不需要大量的训练样本，因此不需要花费大量时间训练数据样本进行分类。为复合或多样化数据集提供更强大的性能。4.2. 无监督学习在监督学习中，研究人员需要提前将缺陷样本类型分类为训练的先验知识。在实际工业生产中，存在大量未知缺陷，缺陷特征模糊不清，研究者难以通过经验进行判断和分类。在工艺开发的早期阶段，样品注释也受到限制。针对这些问题，无监督学习开辟了新的解决方案，不需要大量的人力来标记数据样本，并根据样本之间的特征关系进行聚类。当添加新的缺陷模式时，无监督学习也具有优势。近年来，无监督学习已成为工业缺陷检测的重要研究方向之一。晶圆图案上的缺陷图案分类不均匀，特征不规则，无监督聚类算法对这种情况具有很强的鲁棒性，广泛用于检测复杂的晶圆缺陷图案。由于簇状缺陷（如划痕、污渍或局部失效模式）导致难以检测，黄振提出了一种解决该问题的新方法。提出了一种利用自监督多层感知器检测缺陷并标记所有缺陷芯片的自动晶圆缺陷聚类算法（k-means聚类）。Jin C H等提出了一种基于密度的噪声应用空间聚类（DBSCAN）的晶圆图案检测与分类框架，该框架根据缺陷图案特征选择性地去除异常值，然后提取的缺陷特征可以同时完成异常点和缺陷图案的检测。Yuan， T等提出了一种多步晶圆分析方法，该方法基于相似聚类技术提供不同精度的聚类结果，根据局部缺陷模式的空间位置识别出种混合型缺陷模式。利用位置信息来区分缺陷簇有一定的局限性，当多个簇彼此靠近或重叠时，分类效果会受到影响。Di Palma，F等采用无监督自组织映射（SOM）和自适应共振理论（ART1）作为晶圆分类器，对1种不同类别的晶圆进行了模拟数据集测试。SOM 和 ART1 都依靠神经元之间的竞争来逐步优化网络以进行无监督分类。由于ART是通过“AND”逻辑推送到参考向量的，因此在处理大量数据集时，计算次数增加，无法获得缺陷类别的实际数量。调整网络标识阈值不会带来任何改进。SOM算法可以将高维输入数据映射到低维空间，同时保持输入数据在高维空间中的拓扑结构。首先，确定神经元的类别和数量，并通过几次对比实验确定其他参数。确定参数后，经过几个学习周期后，数据达到渐近值，并且在模拟数据集和真实数据集上都表现良好。4.3. 半监督学习半监督学习是一种结合了监督学习和无监督学习的机器学习方法。半监督学习可以使用少量的标记数据和大量的未标记数据来解决问题。基于集成的半监督学习过程如图 8 所示。避免了完全标记样品的成本消耗和错误标记。半监督学习已成为近年来的研究热点。图8.基于集成的半监督学习监督学习通常能获得良好的识别结果，但依赖于样本标记的准确性。晶圆数据样本可能存在以下问题。首先是晶圆样品数据需要专业人员手动标记。手动打标过程是主观的，一些混合缺陷模式可能会被错误标记。二是某些缺陷模式的样本不足。第三，一些缺陷模式一开始就没有被标记出来。因此，无监督学习方法无法发挥其性能。针对这一问题，Katherine Shu-Min Li等人提出了一种基于集成的半监督框架，以实现缺陷模式的自动分类。首先，在标记数据上训练监督集成学习模型，然后通过该模型训练未标记的数据。最后，利用无监督学习算法对无法正确分类的样本进行处理，以达到增强的标记效果，提高晶圆缺陷图案分类的准确性。Yuting Kong和Dong Ni提出了一种用于晶圆图分析的半监督增量建模框架。利用梯形网络改进的半监督增量模型和SVAE模型对晶圆图进行分类，然后通过主动学习和伪标注提高模型性能。实验表明，它比CNN模型具有更好的性能。5. 基于深度学习的晶圆表面缺陷检测近年来，随着深度学习算法的发展、GPU算力的提高以及卷积神经网络的出现，计算机视觉领域得到了定性的发展，在表面缺陷检测领域也得到了广泛的应用。在深度学习之前，相关人员需要具备广泛的特征映射和特征描述知识，才能手动绘制特征。深度学习使多层神经网络能够通过抽象层自动提取和学习目标特征，并从图像中检测目标对象。Cheng KCC等分别使用机器学习算法和深度学习算法进行晶圆缺陷检测。他们使用逻辑回归、支持向量机（SVM）、自适应提升决策树（ADBT）和深度神经网络来检测晶圆缺陷。实验证明，深度神经网络的平均准确率优于上述机器学习算法，基于深度学习的晶圆检测算法具有更好的性能。根据不同的应用场景和任务需求，将深度学习模型分为分类网络、检测网络和分割网络。本节讨论创新并比较每个深度学习网络模型的性能。5.1. 分类网络分类网络是较老的深度学习算法之一。分类网络通过卷积、池化等一系列操作，提取输入图像中目标物体的特征信息，然后通过全连接层，根据预设的标签类别进行分类。网络模型如图 9 所示。近年来，出现了许多针对特定问题的分类网络。在晶圆缺陷检测领域，聚焦缺陷特征，增强特征提取能力，推动了晶圆检测的发展。图 9.分类网络模型结构图在晶圆制造过程中，几种不同类型的缺陷耦合在晶圆中，称为混合缺陷。这些类型的缺陷复杂多变且随机性强，已成为半导体公司面临的主要挑战。针对这一问题，Wang J等提出了一种用于晶圆缺陷分类的混合DPR（MDPR）可变形卷积网络（DC-Net）。他们设计了可变形卷积的多标签输出和一热编码机制层，将采样区域聚焦在缺陷特征区域，有效提取缺陷特征，对混合缺陷进行分类，输出单个缺陷，提高混合缺陷的分类精度。Kyeong和Kim为混合缺陷模式的晶圆图像中的每种缺陷设计了单独的分类模型，并通过组合分类器网络检测了晶圆的缺陷模式。作者使用MPL、SVM和CNN组合分类器测试了六种不同模式的晶圆映射数据库，只有作者提出的算法被正确分类。Takeshi Nakazawa和Deepak V. Kulkarni使用CNN对晶圆缺陷图案进行分类。他们使用合成生成的晶圆图像训练和验证了他们的CNN模型。此外，提出了一种利用模拟生成数据的方法，以解决制造中真实缺陷类别数据不平衡的问题，并达到合理的分类精度。这有效解决了晶圆数据采集困难、可用样品少的问题。分类网络模型对比如表3所示。表3. 分类网络模型比较算法创新Acc直流网络采样区域集中在缺陷特征区域，该区域对混合缺陷具有非常强的鲁棒性。93.2%基于CNN的组合分类器针对每个缺陷单独设计分类器，对新缺陷模式适应性强。97.4%基于CNN的分类检索方法可以生成模拟数据集来解释数据不平衡。98.2%5.2. 目标检测网络目标检测网络不仅可以对目标物体进行分类，还可以识别其位置。目标检测网络主要分为两种类型。第一种类型是两级网络，如图10所示。基于区域提案网络生成候选框，然后对候选框进行分类和回归。第二类是一级网络，如图11所示，即端到端目标检测，直接生成目标对象的分类和回归信息，而不生成候选框。相对而言，两级网络检测精度更高，单级网络检测速度更快。检测网络模型的比较如表4所示。图 10.两级检测网络模型结构示意图图 11.一级检测网络模型结构示意图表4. 检测网络模型比较算法创新AccApPCACAE基于二维主成分分析的级联辊类型自动编码。97.27%\YOLOv3-GANGAN增强了缺陷模式的多样性，提高了YOLOv3的通用性。\88.72%YOLOv4更新了骨干网络，增强了 CutMix 和 Mosaic 数据。94.0%75.8%Yu J等提出了一种基于二维主成分分析的卷积自编码器的深度神经网络PCACAE，并设计了一种新的卷积核来提取晶圆缺陷特征。产品自动编码器级联，进一步提高特征提取的性能。针对晶圆数据采集困难、公开数据集少等问题，Ssu-Han Chen等首次采用生成对抗网络和目标检测算法YOLOv3相结合的方法，对小样本中的晶圆缺陷进行检测。GAN增强了缺陷的多样性，提高了YOLOv3的泛化能力。Prashant P. SHINDE等提出使用先进的YOLOv4来检测和定位晶圆缺陷。与YOLOv3相比，骨干提取网络从Darknet-19改进为Darknet-53，并利用mish激活函数使网络鲁棒性。粘性增强，检测能力大大提高，复杂晶圆缺陷模式的检测定位性能更加高效。5.3. 分段网络分割网络对输入图像中的感兴趣区域进行像素级分割。大部分的分割网络都是基于编码器和解码器的结构，如图12所示是分割网络模型结构示意图。通过编码器和解码器，提高了对目标物体特征的提取能力，加强了后续分类网络对图像的分析和理解。在晶圆表面缺陷检测中具有良好的应用前景。图 12.分割网络模型结构示意图。Takeshi Nakazawa等提出了一种深度卷积编码器-解码器神经网络结构，用于晶圆缺陷图案的异常检测和分割。作者设计了基于FCN、U-Net和SegNet的三种编码器-解码器晶圆缺陷模式分割网络，对晶圆局部缺陷模型进行分割。晶圆中的全局随机缺陷通常会导致提取的特征出现噪声。分割后，忽略了全局缺陷对局部缺陷的影响，而有关缺陷聚类的更多信息有助于进一步分析其原因。针对晶圆缺陷像素类别不平衡和样本不足的问题，Han Hui等设计了一种基于U-net网络的改进分割系统。在原有UNet网络的基础上，加入RPN网络，获取缺陷区域建议，然后输入到单元网络进行分割。所设计的两级网络对晶圆缺陷具有准确的分割效果。Subhrajit Nag等人提出了一种新的网络结构 WaferSegClassNet，采用解码器-编码器架构。编码器通过一系列卷积块提取更好的多尺度局部细节，并使用解码器进行分类和生成。分割掩模是第一个可以同时进行分类和分割的晶圆缺陷检测模型，对混合晶圆缺陷具有良好的分割和分类效果。分段网络模型比较如表5所示。表 5.分割网络模型比较算法创新AccFCN将全连接层替换为卷积层以输出 2D 热图。97.8%SegNe结合编码器-解码器和像素级分类层。99.0%U-net将每个编码器层中的特征图复制并裁剪到相应的解码器层。98.9%WaferSegClassNet使用共享编码器同时进行分类和分割。98.2%第6章 结论与展望随着电子信息技术的不断发展和光刻技术的不断完善，晶圆表面缺陷检测在半导体行业中占有重要地位，越来越受到该领域学者的关注。本文对晶圆表面缺陷检测相关的图像信号处理、机器学习和深度学习等方面的研究进行了分析和总结。早期主要采用图像信号处理方法，其中小波变换方法和空间滤波方法应用较多。机器学习在晶圆缺陷检测方面非常强大。k-最近邻（KNN）、决策树（Decision Tree）、支持向量机（SVM）等算法在该领域得到广泛应用，并取得了良好的效果。深度学习以其强大的特征提取能力为晶圆检测领域注入了活力。最新的集成电路制造技术已经发展到4 nm，预测表明它将继续朝着更小的规模发展。然而，随着这些趋势的出现，晶圆上表面缺陷的复杂性也将增加，对模型的可靠性和鲁棒性提出了更严格的挑战。因此，对这些缺陷的分析和处理对于确保集成电路的高质量制造变得越来越重要。虽然在晶圆表面缺陷分析领域取得了一些成果，但仍存在许多问题和挑战。1、晶圆缺陷的公开数据集很少。由于晶圆生产和贴标成本高昂，高质量的公开数据集很少，为数不多的数据集不足以支撑训练。可以考虑创建一个合成晶圆缺陷数据库，并在现有数据集上进行数据增强，为神经网络提供更准确、更全面的数据样本。由于梯度特征中缺陷类型的多功能性，可以使用迁移学习来解决此类问题，主要是为了解决迁移学习中的负迁移和模型不适用性等问题。目前尚不存在灵活高效的迁移模型。利用迁移学习解决晶圆表面缺陷检测中几个样品的问题，是未来研究的难题。2、在晶圆制造过程中，不断产生新的缺陷，缺陷样本的数量和类型不断积累。使用增量学习可以提高网络模型对新缺陷的识别准确率和保持旧缺陷分类的能力。也可作为扩展样本法的研究方向。3、随着技术进步的飞速发展，芯片特征尺寸越来越小、越来越复杂，导致晶圆中存在多种缺陷类型，缺陷相互折叠，导致缺陷特征不均匀、不明显。增加检测难度。多步骤、多方法混合模型已成为检测混合缺陷的主流方法。如何优化深度网络模型的性能，保持较高的检测效率，是一个亟待进一步解决的问题。4、在晶圆制造过程中，不同用途的晶圆图案会产生不同的缺陷。目前，在单个数据集上训练的网络模型不足以识别所有晶圆中用于不同目的的缺陷。如何设计一个通用的网络模型来检测所有缺陷，从而避免为所有晶圆缺陷数据集单独设计训练模型造成的资源浪费，是未来值得思考的方向。5、缺陷检测模型大多为离线模型，无法满足工业生产的实时性要求。为了解决这个问题，需要建立一个自主学习模型系统，使模型能够快速学习和适应新的生产环境，从而实现更高效、更准确的缺陷检测。原文链接:Electronics | Free Full-Text | Review of Wafer Surface Defect Detection Methods (mdpi.com)

近日，中俄合作完成的“焊接结构缺陷检验、服役可靠性评估及延寿技术研究”项目，通过了黑龙江省科技厅组织的专家验收。专家认为，双方合作开发了噪声抑制新技术、合成孔径聚焦缺陷检测技术、缺陷三维成像检测技术等多种新技术，解决了结构焊接缺陷定量化检测可靠性低的难题，并在缺陷自动识别等方面取得了重要进展。　　该项目由哈尔滨工业大学先进焊接与连接国家重点实验室与俄罗斯鲍曼国立技术大学合作承担，于2007年启动，其研究目标是建立一套基于声发射、超声波技术原理、压痕技术、电磁技术和光学技术原理的国际先进的焊接缺陷和焊接应力检测与剩余工作寿命评估系统。　　据介绍，该研究突破了反映应力信息的超声信号提取和干扰去除策略方面的技术难点，开发出基于临界折射纵波焊接应力检测的技术设备，其平面构件表面应力测试误差仅为12%左右，技术设备已实现集成化和产品化，在高速列车、火箭燃料储箱等领域中应用。　　同时，研究团队开发出随焊冲击碾压、双向预置应力焊接等多项新技术及配套装置，有效改善了焊接接头的残余应力状态，减少了焊接缺陷，并将焊接新工艺在高速列车承载焊接接头的制造中试用，获得显著成效。　　据悉，项目执行期间，共申请发明专利12项，获得发明专利授权8项 获得软件著作权2项 发表论文93篇，其中SCI16篇、EI64篇 形成拥有自主知识产权的核心技术2项 开发新装置7台(套) 形成新工艺5项。同时，以该项目为基础筹建的“中国—俄罗斯—乌克兰国际焊接联合研究中心”已获科技部批准。