缺陷视觉检测

摘要晶圆表面缺陷检测在半导体制造中对控制产品质量起着重要作用，已成为计算机视觉领域的研究热点。然而，现有综述文献中对晶圆缺陷检测方法的归纳和总结不够透彻，缺乏对各种技术优缺点的客观分析和评价，不利于该研究领域的发展。本文系统分析了近年来国内外学者在晶圆表面缺陷检测领域的研究进展。首先，介绍了晶圆表面缺陷模式的分类及其成因。根据特征提取方法的不同，目前主流的方法分为三类：基于图像信号处理的方法、基于机器学习的方法和基于深度学习的方法。此外，还简要介绍了代表性算法的核心思想。然后，对每种方法的创新性进行了比较分析，并讨论了它们的局限性。最后，总结了当前晶圆表面缺陷检测任务中存在的问题和挑战，以及该领域未来的研究趋势以及新的研究思路。1.引言硅晶圆用于制造半导体芯片。所需的图案是通过光刻等工艺在晶圆上形成的，是半导体芯片制造过程中非常重要的载体。在制造过程中，由于环境和工艺参数等因素的影响，晶圆表面会产生缺陷，从而影响晶圆生产的良率。晶圆表面缺陷的准确检测，可以加速制造过程中异常故障的识别以及制造工艺的调整，提高生产效率，降低废品率。晶圆表面缺陷的早期检测往往由经验丰富的检测人员手动进行，存在效率低、精度差、成本高、主观性强等问题，不足以满足现代工业化产品的要求。目前，基于机器视觉的缺陷检测方法[1]在晶圆检测领域已经取代了人工检测。传统的基于机器视觉的缺陷检测方法往往采用手动特征提取，效率低下。基于计算机视觉的检测方法[2]的出现，特别是卷积神经网络等神经网络的出现，解决了数据预处理、特征表示和提取以及模型学习策略的局限性。神经网络以其高效率、高精度、低成本、客观性强等特点，迅速发展，在半导体晶圆表面缺陷检测领域得到广泛应用。近年来，随着智能终端和无线通信设施等电子集成电路的发展，以及摩尔定律的推广，在全球对芯片的需求增加的同时，光刻工艺的精度也有所提高。随着技术的进步，工艺精度已达到10纳米以下[5]。因此，对每个工艺步骤的良率提出了更高的要求，对晶圆制造中的缺陷检测技术提出了更大的挑战。本文主要总结了晶圆表面缺陷检测算法的相关研究，包括传统的图像处理、机器学习和深度学习。根据算法的特点，对相关文献进行了总结和整理，对晶圆缺陷检测领域面临的问题和挑战进行了展望和未来发展。本文旨在帮助快速了解晶圆表面缺陷检测领域的相关方法和技能。2. 晶圆表面缺陷模式在实际生产中，晶圆上的缺陷种类繁多，形状不均匀，增加了晶圆缺陷检测的难度。在晶圆缺陷的类型中，无图案晶圆缺陷和图案化晶圆缺陷是晶圆缺陷的两种主要形式。这两类缺陷是芯片故障的主要原因。无图案晶圆缺陷多发生在晶圆生产的预光刻阶段，即由机器故障引起的晶圆缺陷。划痕缺陷如图1a所示，颗粒污染缺陷如图1b所示。图案化晶圆缺陷多见于晶圆生产的中间工序。曝光时间、显影时间和烘烤后时间不当会导致光刻线条出现缺陷。螺旋激励线圈和叉形电极的微纳制造过程中晶圆表面产生的缺陷如图2所示。开路缺陷如图2 a所示，短路缺陷如图2 b所示，线路污染缺陷如图2 c所示，咬合缺陷如图2d所示。图1.（a）无图案晶圆的划痕缺陷；（b）无图案晶圆中的颗粒污染。图2.（a）开路缺陷，（b）短路缺陷，（c）线路污染，以及（d）图案化晶圆缺陷图中的咬合缺陷。由于上述晶圆缺陷的存在，在对晶圆上所有芯片进行功能完整性测试时，可能会发生芯片故障。芯片工程师用不同的颜色标记测试结果，以区分芯片的位置。在不同操作过程的影响下，晶圆上会产生相应的特定空间图案。晶圆图像数据，即晶圆图，由此生成。正如Hansen等在1997年指出的那样，缺陷芯片通常具有聚集现象或表现出一些系统模式，而这种缺陷模式通常包含有关工艺条件的必要信息。晶圆图不仅可以反映芯片的完整性，还可以准确描述缺陷数据对应的空间位置信息。晶圆图可能在整个晶圆上表现出空间依赖性，芯片工程师通常可以追踪缺陷的原因并根据缺陷类型解决问题。Mirza等将晶圆图缺陷模式分为一般类型和局部类型，即全局随机缺陷和局部缺陷。晶圆图缺陷模式图如图3所示，局部缺陷如图3 a所示，全局随机缺陷如图3b所示。全局随机缺陷是由不确定因素产生的，不确定因素是没有特定聚类现象的不可控因素，例如环境中的灰尘颗粒。只有通过长期的渐进式改进或昂贵的设备大修计划，才能减少全局随机缺陷。局部缺陷是系统固有的，在晶圆生产过程中受到可控因素的影响，如工艺参数、设备问题和操作不当。它们反复出现在晶圆上，并表现出一定程度的聚集。识别和分类局部缺陷，定位设备异常和不适当的工艺参数，对提高晶圆生产良率起着至关重要的作用。图3.（a）局部缺陷模式（b）全局缺陷模式。对于面积大、特征尺寸小、密度低、集成度低的晶圆图案，可以用电子显微镜观察光刻路径，并可直接进行痕量检测。随着芯片电路集成度的显著提高，进行芯片级检测变得越来越困难。这是因为随着集成度的提高，芯片上的元件变得更小、更复杂、更密集，从而导致更多的潜在缺陷。这些缺陷很难通过常规的检测方法进行检测和修复，需要更复杂、更先进的检测技术和工具。晶圆图研究是晶圆缺陷检测的热点。天津大学刘凤珍研究了光刻设备异常引起的晶圆图缺陷。针对晶圆实际生产过程中的缺陷，我们通过设备实验对光刻胶、晶圆粉尘颗粒、晶圆环、划痕、球形、线性等缺陷进行了深入研究，旨在找到缺陷原因，提高生产率。为了确定晶圆模式失效的原因，吴明菊等人从实际制造中收集了811,457张真实晶圆图，创建了WM-811K晶圆图数据集，这是目前应用最广泛的晶圆图。半导体领域专家为该数据集中大约 20% 的晶圆图谱注释了八种缺陷模式类型。八种类型的晶圆图缺陷模式如图4所示。本综述中引用的大多数文章都基于该数据集进行了测试。图4.八种类型的晶圆映射缺陷模式类型：（a）中心、（b）甜甜圈、（c）边缘位置、（d）边缘环、（e）局部、（f）接近满、（g）随机和（h）划痕。3. 基于图像信号处理的晶圆表面缺陷检测图像信号处理是将图像信号转换为数字信号，再通过计算机技术进行处理，实现图像变换、增强和检测。晶圆检测领域常用的有小波变换（WT）、空间滤波（spatial filtering）和模板匹配（template matching）。本节主要介绍这三种算法在晶圆表面缺陷检测中的应用。图像处理算法的比较如表1所示。表 1.图像处理算法的比较。模型算法创新局限小波变换 图像可以分解为多种分辨率，并呈现为具有不同空间频率的局部子图像。防谷物。阈值的选择依赖性很强，适应性差。空间滤波基于空间卷积，去除高频噪声，进行边缘增强。性能取决于阈值参数。模板匹配模板匹配算法抗噪能力强，计算速度快。对特征对象大小敏感。3.1. 小波变换小波变换（WT）是一种信号时频分析和处理技术。首先，通过滤波器将图像信号分解为不同的频率子带，进行小波分解 然后，通过计算小波系数的平均值、标准差或其他统计度量，分析每个系数以检测任何异常或缺陷。异常或缺陷可能表现为小波系数的突然变化或异常值。根据分析结果，使用预定义的阈值来确定信号中的缺陷和异常，并通过识别缺陷所在的时间和频率子带来确定缺陷的位置。小波分解原理图如图5所示，其中L表示低频信息，H表示高频信息。每次对图像进行分解时，图像都会分解为四个频段：LL、LH、HL 和 HH。下层分解重复上层LL带上的分解。小波变换在晶圆缺陷特征的边界处理和多尺度边缘检测中具有良好的性能。图5.小波分解示意图。Yeh等提出了一种基于二维小波变换（2DWT）的方法，该方法通过修正小波变换模量（WTMS）计算尺度系数之间的比值，用于晶圆缺陷像素的定位。通过选择合适的小波基和支撑长度，可以使用少量测试数据实现晶圆缺陷的准确检测。图像预处理阶段耗费大量时间，严重影响检测速度。Wen-Ren Yang等提出了一种基于短时离散小波变换的晶圆微裂纹在线检测系统。无需对晶圆图像进行预处理。通过向晶圆表面发射连续脉冲激光束，通过空间探针阵列采集反射信号，并通过离散小波变换进行分析，以确定微裂纹的反射特性。在加工的情况下，也可以对微裂纹有更好的检测效果。多晶太阳能硅片表面存在大量随机晶片颗粒，导致晶圆传感图像纹理不均匀。针对这一问题，Kim Y等提出了一种基于小波变换的表面检测方法，用于检测太阳能硅片缺陷。为了更好地区分缺陷边缘和晶粒边缘，使用两个连续分解层次的小波细节子图的能量差作为权重，以增强每个分解层次中提出的判别特征。实验结果表明，该方法对指纹和污渍有较好的检测效果，但对边缘锋利的严重微裂纹缺陷无效，不能适用于所有缺陷。3.2. 空间过滤空间滤波是一种成熟的图像增强技术，它是通过直接对灰度值施加空间卷积来实现的。图像处理中的主要作用是图像去噪，分为平滑滤镜和锐化滤镜，广泛应用于缺陷检测领域。图6显示了图像中中值滤波器和均值滤波器在增加噪声后的去噪效果。图6.滤波去噪效果图：（a）原始图像，（b）中值滤波去噪，（c）均值滤光片去噪。Ohshige等提出了一种基于空间频率滤波技术的表面缺陷检测系统。该方法可以有效地检测晶圆上的亚微米缺陷或异物颗粒。晶圆制造中随机缺陷的影响。C.H. Wang提出了一种基于空间滤波、熵模糊c均值和谱聚类的晶圆缺陷检测方法，该方法利用空间滤波对缺陷区域进行去噪和提取，通过熵模糊c均值和谱聚类获得缺陷区域。结合均值和谱聚类的混合算法用于缺陷分类。它解决了传统统计方法无法提取具有有意义的分类的缺陷模式的问题。针对晶圆中的成簇缺陷，Chen SH等开发了一种基于中值滤波和聚类方法的软件工具，所提算法有效地检测了缺陷成簇。通常，空间过滤器的性能与参数高度相关，并且通常很难选择其值。3.3. 模板匹配模板匹配检测是通过计算模板图像与被测图像之间的相似度来实现的，以检测被测图像与模板图像之间的差异区域。Han H等从晶圆图像本身获取的模板混入晶圆制造工艺的设计布局方案中，利用物理空间与像素空间的映射，设计了一种结合现有圆模板匹配检测新方法的晶圆图像检测技术。刘希峰结合SURF图像配准算法，实现了测试晶圆与标准晶圆图案的空间定位匹配。测试图像与标准图像之间的特征点匹配结果如图7所示。将模式识别的轮廓提取技术应用于晶圆缺陷检测。Khalaj等提出了一种新技术，该技术使用高分辨率光谱估计算法提取晶圆缺陷特征并将其与实际图像进行比较，以检测周期性2D信号或图像中不规则和缺陷的位置。图7.测试图像与标准图像之间的特征点匹配结果。下接：晶圆表面缺陷检测方法综述【下】

进入赤霄科技，墙上几个大字格外吸引眼球，&ldquo 专注一件事 表面缺陷机器视觉智能检测系统设备&rdquo 。这家专注于表面缺陷检测系统研发的高科技公司在经历近2年的投入研发后，终于获得回报，公司研发的产品由于性价比高，受到市场推崇，王暾终于舒了口气。2011年，王暾放弃留美读博的机会，毅然决然回国创业，这样的决定曾遭受了不少亲朋好友的反对。　　&ldquo 当时根本没有人理解我。&rdquo 王暾回忆。在老师眼里，王暾留美读博再适合不过，由于他放弃这样值得珍惜的机会，以至于恩师&ldquo 反目&rdquo ，&ldquo 你放弃读博的话，就不用回国见我了。&rdquo 每每回想起这样的场景，除了无奈之外，王暾想得更多的是怎么样把项目做好。　　2009年，针对众多企业的技术需求，王暾建立了一个技术交易平台。&ldquo 我建立这个技术平台的另外一个重要目的，就是想让所有学技术的人员能在这个技术平台发挥自己最大的才能。&rdquo 王暾介绍。　　技术平台的建设难度远超过王暾的想象，资金来源成了平台建设难以逾越的鸿沟。经历了1年多的摸索后，王暾决定先放弃技术平台的建设转向技术开发。　　2012年，杭州赤霄科技有限公司正式成立。经历了近两年的研发，无纺布表面缺陷检测系统等3款产品相继面世。2014年上半年，赤霄科技系统设备销售额达到300万，一举扭转只投入，无产出的局面，公司逆转亏损开始盈利。2014年一整年，赤霄科技的年产值预计将达到500余万。　　据赤霄科技的王经理介绍，表面缺陷检测系统的研发在国内还处于起步阶段，专注于这一领域的公司也是屈指可数，能在这一行业立足，靠的是技术。　　另一方面，赤霄科技在产品的价格上也占足了优势。王暾介绍，德国的同类产品，售价高达80万，而赤霄的同款产品售价20万，更容易被国内的中小企业接受。　　由于产品市场效益良好，赤霄科技成了一些风投公司的香馍馍，&ldquo 未来两年，公司会进行融资，并扩大生产。当然，把公司发展成上市公司是我的目标。&rdquo 王暾笑着说。

上接：晶圆表面缺陷检测方法综述【上】4. 基于机器学习的晶圆表面缺陷检测机器学习主要是将一个具体的问题抽象成一个数学模型，通过数学方法求解模型，求解该问题，然后评估该模型对该问题的影响。根据训练数据的特点，分为监督学习、无监督学习和半监督学习。本文主要讨论这三种机器学习方法在晶圆表面缺陷检测中的应用。机器学习模型比较如表2所示。表 2.机器学习算法的比较。分类算法创新局限监督学习KNN系列对异常数据不敏感，准确率高。复杂度高，计算强度高。决策树-Radon应用Radon以形成新的缺陷特征。过拟合非常熟练。SVMSVM 可对多变量、多模态和不可分割的数据点进行高效分类。它对多个样本不友好，内核函数难以定位。无监督学习多层感知器聚类算法采用多层感知器增强特征提取能力。取决于激活函数的选择。DBSCAN可以根据缺陷模式特征有选择地去除异常值。样本密度不均匀或样本过大，收敛时间长，聚类效果差。SOM高维数据可以映射到低维空间，保持高维空间的结构。目标函数不容易确定。半监督学习用于增强标记的半监督框架将监督集成学习与无监督SOM相结合，构建了半监督模型。培训既费时又费时。半监督增量建模框架通过主动学习和标记样本来增强模型性能，从而提高模型性能。性能取决于标记的数据量。4.1. 监督学习监督学习是一种学习模型，它基于该模型对所需的新数据样本进行预测。监督学习是目前晶圆表面缺陷检测中广泛使用的机器学习算法，在目标检测领域具有较高的鲁棒性。Yuan，T等提出了一种基于k-最近邻（KNN）的噪声去除技术，该技术利用k-最近邻算法将全局缺陷和局部缺陷分离，提供晶圆信息中所有聚合的局部缺陷信息，通过相似聚类技术将缺陷分类为簇，并利用聚类缺陷的参数化模型识别缺陷簇的空间模式。Piao M等提出了一种基于决策树的晶圆缺陷模式识别方法。利用Radon变换提取缺陷模式特征，采用相关性分析法测度特征之间的相关性，将缺陷特征划分为特征子集，每个特征子集根据C4.5机制构建决策树。对决策树置信度求和，并选择总体置信度最高的类别。决策树在特定类别的晶圆缺陷检测中表现出更好的性能，但投影的最大值、最小值、平均值和标准差不足以代表晶圆缺陷的所有空间信息，因此边缘缺陷检测性能较差。支持向量机（SVM）在监督学习中也是缺陷检测的成熟应用。当样本不平衡时，k-最近邻算法分类效果较差，计算量大。决策树也有类似的问题，容易出现过度拟合。支持向量机在小样本和高维特征的分类中仍然具有良好的性能，并且支持向量机的计算复杂度不依赖于输入空间的维度，并且多类支持向量机对过拟合问题具有鲁棒性，因此常被用作分类器。R. Baly等使用支持向量机（SVM）分类器将1150张晶圆图像分为高良率和低良率两类，然后通过对比实验证明，相对于决策树，k-最近邻（KNN）、偏最小二乘回归（PLS回归）和广义回归神经网络（GRNN），非线性支持向量机模型优于上述四种晶圆分类方法。多类支持向量机在晶圆缺陷模式分类中具有更好的分类精度。L. Xie等提出了一种基于支持向量机算法的晶圆缺陷图案检测方案。采用线性核、高斯核和多项式核进行选择性测试，通过交叉验证选择测试误差最小的核进行下一步的支持向量机训练。支持向量机方法可以处理图像平移或旋转引起的误报问题。与神经网络相比，支持向量机不需要大量的训练样本，因此不需要花费大量时间训练数据样本进行分类。为复合或多样化数据集提供更强大的性能。4.2. 无监督学习在监督学习中，研究人员需要提前将缺陷样本类型分类为训练的先验知识。在实际工业生产中，存在大量未知缺陷，缺陷特征模糊不清，研究者难以通过经验进行判断和分类。在工艺开发的早期阶段，样品注释也受到限制。针对这些问题，无监督学习开辟了新的解决方案，不需要大量的人力来标记数据样本，并根据样本之间的特征关系进行聚类。当添加新的缺陷模式时，无监督学习也具有优势。近年来，无监督学习已成为工业缺陷检测的重要研究方向之一。晶圆图案上的缺陷图案分类不均匀，特征不规则，无监督聚类算法对这种情况具有很强的鲁棒性，广泛用于检测复杂的晶圆缺陷图案。由于簇状缺陷（如划痕、污渍或局部失效模式）导致难以检测，黄振提出了一种解决该问题的新方法。提出了一种利用自监督多层感知器检测缺陷并标记所有缺陷芯片的自动晶圆缺陷聚类算法（k-means聚类）。Jin C H等提出了一种基于密度的噪声应用空间聚类（DBSCAN）的晶圆图案检测与分类框架，该框架根据缺陷图案特征选择性地去除异常值，然后提取的缺陷特征可以同时完成异常点和缺陷图案的检测。Yuan， T等提出了一种多步晶圆分析方法，该方法基于相似聚类技术提供不同精度的聚类结果，根据局部缺陷模式的空间位置识别出种混合型缺陷模式。利用位置信息来区分缺陷簇有一定的局限性，当多个簇彼此靠近或重叠时，分类效果会受到影响。Di Palma，F等采用无监督自组织映射（SOM）和自适应共振理论（ART1）作为晶圆分类器，对1种不同类别的晶圆进行了模拟数据集测试。SOM 和 ART1 都依靠神经元之间的竞争来逐步优化网络以进行无监督分类。由于ART是通过“AND”逻辑推送到参考向量的，因此在处理大量数据集时，计算次数增加，无法获得缺陷类别的实际数量。调整网络标识阈值不会带来任何改进。SOM算法可以将高维输入数据映射到低维空间，同时保持输入数据在高维空间中的拓扑结构。首先，确定神经元的类别和数量，并通过几次对比实验确定其他参数。确定参数后，经过几个学习周期后，数据达到渐近值，并且在模拟数据集和真实数据集上都表现良好。4.3. 半监督学习半监督学习是一种结合了监督学习和无监督学习的机器学习方法。半监督学习可以使用少量的标记数据和大量的未标记数据来解决问题。基于集成的半监督学习过程如图 8 所示。避免了完全标记样品的成本消耗和错误标记。半监督学习已成为近年来的研究热点。图8.基于集成的半监督学习监督学习通常能获得良好的识别结果，但依赖于样本标记的准确性。晶圆数据样本可能存在以下问题。首先是晶圆样品数据需要专业人员手动标记。手动打标过程是主观的，一些混合缺陷模式可能会被错误标记。二是某些缺陷模式的样本不足。第三，一些缺陷模式一开始就没有被标记出来。因此，无监督学习方法无法发挥其性能。针对这一问题，Katherine Shu-Min Li等人提出了一种基于集成的半监督框架，以实现缺陷模式的自动分类。首先，在标记数据上训练监督集成学习模型，然后通过该模型训练未标记的数据。最后，利用无监督学习算法对无法正确分类的样本进行处理，以达到增强的标记效果，提高晶圆缺陷图案分类的准确性。Yuting Kong和Dong Ni提出了一种用于晶圆图分析的半监督增量建模框架。利用梯形网络改进的半监督增量模型和SVAE模型对晶圆图进行分类，然后通过主动学习和伪标注提高模型性能。实验表明，它比CNN模型具有更好的性能。5. 基于深度学习的晶圆表面缺陷检测近年来，随着深度学习算法的发展、GPU算力的提高以及卷积神经网络的出现，计算机视觉领域得到了定性的发展，在表面缺陷检测领域也得到了广泛的应用。在深度学习之前，相关人员需要具备广泛的特征映射和特征描述知识，才能手动绘制特征。深度学习使多层神经网络能够通过抽象层自动提取和学习目标特征，并从图像中检测目标对象。Cheng KCC等分别使用机器学习算法和深度学习算法进行晶圆缺陷检测。他们使用逻辑回归、支持向量机（SVM）、自适应提升决策树（ADBT）和深度神经网络来检测晶圆缺陷。实验证明，深度神经网络的平均准确率优于上述机器学习算法，基于深度学习的晶圆检测算法具有更好的性能。根据不同的应用场景和任务需求，将深度学习模型分为分类网络、检测网络和分割网络。本节讨论创新并比较每个深度学习网络模型的性能。5.1. 分类网络分类网络是较老的深度学习算法之一。分类网络通过卷积、池化等一系列操作，提取输入图像中目标物体的特征信息，然后通过全连接层，根据预设的标签类别进行分类。网络模型如图 9 所示。近年来，出现了许多针对特定问题的分类网络。在晶圆缺陷检测领域，聚焦缺陷特征，增强特征提取能力，推动了晶圆检测的发展。图 9.分类网络模型结构图在晶圆制造过程中，几种不同类型的缺陷耦合在晶圆中，称为混合缺陷。这些类型的缺陷复杂多变且随机性强，已成为半导体公司面临的主要挑战。针对这一问题，Wang J等提出了一种用于晶圆缺陷分类的混合DPR（MDPR）可变形卷积网络（DC-Net）。他们设计了可变形卷积的多标签输出和一热编码机制层，将采样区域聚焦在缺陷特征区域，有效提取缺陷特征，对混合缺陷进行分类，输出单个缺陷，提高混合缺陷的分类精度。Kyeong和Kim为混合缺陷模式的晶圆图像中的每种缺陷设计了单独的分类模型，并通过组合分类器网络检测了晶圆的缺陷模式。作者使用MPL、SVM和CNN组合分类器测试了六种不同模式的晶圆映射数据库，只有作者提出的算法被正确分类。Takeshi Nakazawa和Deepak V. Kulkarni使用CNN对晶圆缺陷图案进行分类。他们使用合成生成的晶圆图像训练和验证了他们的CNN模型。此外，提出了一种利用模拟生成数据的方法，以解决制造中真实缺陷类别数据不平衡的问题，并达到合理的分类精度。这有效解决了晶圆数据采集困难、可用样品少的问题。分类网络模型对比如表3所示。表3. 分类网络模型比较算法创新Acc直流网络采样区域集中在缺陷特征区域，该区域对混合缺陷具有非常强的鲁棒性。93.2%基于CNN的组合分类器针对每个缺陷单独设计分类器，对新缺陷模式适应性强。97.4%基于CNN的分类检索方法可以生成模拟数据集来解释数据不平衡。98.2%5.2. 目标检测网络目标检测网络不仅可以对目标物体进行分类，还可以识别其位置。目标检测网络主要分为两种类型。第一种类型是两级网络，如图10所示。基于区域提案网络生成候选框，然后对候选框进行分类和回归。第二类是一级网络，如图11所示，即端到端目标检测，直接生成目标对象的分类和回归信息，而不生成候选框。相对而言，两级网络检测精度更高，单级网络检测速度更快。检测网络模型的比较如表4所示。图 10.两级检测网络模型结构示意图图 11.一级检测网络模型结构示意图表4. 检测网络模型比较算法创新AccApPCACAE基于二维主成分分析的级联辊类型自动编码。97.27%\YOLOv3-GANGAN增强了缺陷模式的多样性，提高了YOLOv3的通用性。\88.72%YOLOv4更新了骨干网络，增强了 CutMix 和 Mosaic 数据。94.0%75.8%Yu J等提出了一种基于二维主成分分析的卷积自编码器的深度神经网络PCACAE，并设计了一种新的卷积核来提取晶圆缺陷特征。产品自动编码器级联，进一步提高特征提取的性能。针对晶圆数据采集困难、公开数据集少等问题，Ssu-Han Chen等首次采用生成对抗网络和目标检测算法YOLOv3相结合的方法，对小样本中的晶圆缺陷进行检测。GAN增强了缺陷的多样性，提高了YOLOv3的泛化能力。Prashant P. SHINDE等提出使用先进的YOLOv4来检测和定位晶圆缺陷。与YOLOv3相比，骨干提取网络从Darknet-19改进为Darknet-53，并利用mish激活函数使网络鲁棒性。粘性增强，检测能力大大提高，复杂晶圆缺陷模式的检测定位性能更加高效。5.3. 分段网络分割网络对输入图像中的感兴趣区域进行像素级分割。大部分的分割网络都是基于编码器和解码器的结构，如图12所示是分割网络模型结构示意图。通过编码器和解码器，提高了对目标物体特征的提取能力，加强了后续分类网络对图像的分析和理解。在晶圆表面缺陷检测中具有良好的应用前景。图 12.分割网络模型结构示意图。Takeshi Nakazawa等提出了一种深度卷积编码器-解码器神经网络结构，用于晶圆缺陷图案的异常检测和分割。作者设计了基于FCN、U-Net和SegNet的三种编码器-解码器晶圆缺陷模式分割网络，对晶圆局部缺陷模型进行分割。晶圆中的全局随机缺陷通常会导致提取的特征出现噪声。分割后，忽略了全局缺陷对局部缺陷的影响，而有关缺陷聚类的更多信息有助于进一步分析其原因。针对晶圆缺陷像素类别不平衡和样本不足的问题，Han Hui等设计了一种基于U-net网络的改进分割系统。在原有UNet网络的基础上，加入RPN网络，获取缺陷区域建议，然后输入到单元网络进行分割。所设计的两级网络对晶圆缺陷具有准确的分割效果。Subhrajit Nag等人提出了一种新的网络结构 WaferSegClassNet，采用解码器-编码器架构。编码器通过一系列卷积块提取更好的多尺度局部细节，并使用解码器进行分类和生成。分割掩模是第一个可以同时进行分类和分割的晶圆缺陷检测模型，对混合晶圆缺陷具有良好的分割和分类效果。分段网络模型比较如表5所示。表 5.分割网络模型比较算法创新AccFCN将全连接层替换为卷积层以输出 2D 热图。97.8%SegNe结合编码器-解码器和像素级分类层。99.0%U-net将每个编码器层中的特征图复制并裁剪到相应的解码器层。98.9%WaferSegClassNet使用共享编码器同时进行分类和分割。98.2%第6章 结论与展望随着电子信息技术的不断发展和光刻技术的不断完善，晶圆表面缺陷检测在半导体行业中占有重要地位，越来越受到该领域学者的关注。本文对晶圆表面缺陷检测相关的图像信号处理、机器学习和深度学习等方面的研究进行了分析和总结。早期主要采用图像信号处理方法，其中小波变换方法和空间滤波方法应用较多。机器学习在晶圆缺陷检测方面非常强大。k-最近邻（KNN）、决策树（Decision Tree）、支持向量机（SVM）等算法在该领域得到广泛应用，并取得了良好的效果。深度学习以其强大的特征提取能力为晶圆检测领域注入了活力。最新的集成电路制造技术已经发展到4 nm，预测表明它将继续朝着更小的规模发展。然而，随着这些趋势的出现，晶圆上表面缺陷的复杂性也将增加，对模型的可靠性和鲁棒性提出了更严格的挑战。因此，对这些缺陷的分析和处理对于确保集成电路的高质量制造变得越来越重要。虽然在晶圆表面缺陷分析领域取得了一些成果，但仍存在许多问题和挑战。1、晶圆缺陷的公开数据集很少。由于晶圆生产和贴标成本高昂，高质量的公开数据集很少，为数不多的数据集不足以支撑训练。可以考虑创建一个合成晶圆缺陷数据库，并在现有数据集上进行数据增强，为神经网络提供更准确、更全面的数据样本。由于梯度特征中缺陷类型的多功能性，可以使用迁移学习来解决此类问题，主要是为了解决迁移学习中的负迁移和模型不适用性等问题。目前尚不存在灵活高效的迁移模型。利用迁移学习解决晶圆表面缺陷检测中几个样品的问题，是未来研究的难题。2、在晶圆制造过程中，不断产生新的缺陷，缺陷样本的数量和类型不断积累。使用增量学习可以提高网络模型对新缺陷的识别准确率和保持旧缺陷分类的能力。也可作为扩展样本法的研究方向。3、随着技术进步的飞速发展，芯片特征尺寸越来越小、越来越复杂，导致晶圆中存在多种缺陷类型，缺陷相互折叠，导致缺陷特征不均匀、不明显。增加检测难度。多步骤、多方法混合模型已成为检测混合缺陷的主流方法。如何优化深度网络模型的性能，保持较高的检测效率，是一个亟待进一步解决的问题。4、在晶圆制造过程中，不同用途的晶圆图案会产生不同的缺陷。目前，在单个数据集上训练的网络模型不足以识别所有晶圆中用于不同目的的缺陷。如何设计一个通用的网络模型来检测所有缺陷，从而避免为所有晶圆缺陷数据集单独设计训练模型造成的资源浪费，是未来值得思考的方向。5、缺陷检测模型大多为离线模型，无法满足工业生产的实时性要求。为了解决这个问题，需要建立一个自主学习模型系统，使模型能够快速学习和适应新的生产环境，从而实现更高效、更准确的缺陷检测。原文链接:Electronics | Free Full-Text | Review of Wafer Surface Defect Detection Methods (mdpi.com)