(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211028776.5 (22)申请日 2022.08.26 (71)申请人 常州大学 地址 213164 江苏省常州市武进区湖塘镇 滆湖中路21号 (72)发明人 夏新栋　杨彪　戚璐璐　兰昊　 姜丰　王睿　杨长春　 (74)专利代理 机构 大连理工大 学专利中心 21200 专利代理师 刘秋彤 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于深度学习的 晶圆瑕疵检测方法 (57)摘要 本发明属于晶圆检测技术领域， 提出了一种 基于深度学习的晶圆瑕疵检测方法。 基于现有 YOLOv7目标检测算法改进获得教师网络和学生 网络， 二者组成双通道教师 ‑学生网络； 输入图像 经教师网络训练获得泛在瑕疵区域； 训练过程中 教师网络获得的泛在瑕疵信息经蒸馏知识迁移 至学生网络； 输入图像经学生网络训练获得泛在 瑕疵区域内的细分瑕疵； 最终测试阶段仅保留训 练完成的学生网络， 输入图像获得晶圆的正常与 否以及晶圆的缺陷类别。 本发明能够保证瑕疵细 分的实时性， 保证学习效果， 改善细分瑕疵检测 表现。 权利要求书2页 说明书7页 附图2页 CN 115439428 A 2022.12.06 CN 115439428 A 1.一种基于深度学习的晶圆瑕疵检测方法， 其特征在于， 基于现有YOLOv7目标检测算 法改进获得教师网络和学生网络， 二者组成双通道教师 ‑学生网络； 输入图像经教师网络训 练获得泛在瑕疵区域， 记泛在瑕疵区域概率为PA， 图像为正常的概率PN＝ 1‑PA； 训练过程中 教师网络获得的泛在瑕疵信息经蒸馏知识迁移至学生网络； 输入图像经学生网络训练获得 泛在瑕疵区域内的细分瑕疵， 即特定瑕疵的概率Pj， j＝ 1,...,M， M表 示泛在瑕疵区域数目； 最终测试阶段仅保留训练完成的学生网络， 输入图像获得晶圆的正常与否以及晶圆的缺陷 类别； 教师网络包括现有YOLOv7目标检测算法的主干网络、 注意力增强机制、 多任务学习机 制以及融合模块； 学生网络包括改进的Y OLOv7目标检测算法的主干网络、 注 意力增强机制、 多任务学习机制以及融合模块； 改进的YOLOv 7目标检测算法的主干网络为基于 现有YOLOv 7 目标检测算法的主干网络基础上进 行精简， 仅使用两组CSP瓶颈层 模块； 多任务学习机制包 括泛在瑕疵的检测和细分瑕疵的检测； 训练教师网络时仅进行泛在瑕疵的检测任务， 训练 学生网络时仅进 行细分瑕疵的检测任务； 融合模块用于将多任务学习机制的输出结果进 行 拼接， 输出瑕疵概 率以及瑕疵图像。 2.根据权利要求1所述的基于深度学习的晶圆瑕疵检测方法， 其特征在于， 所述注意力 增强机制包括空间注意力和通道注 意力； 经主干网络输出的特征图为F， 空间注 意力权重As (F)和通道 注意力权 重Ac(F)分别如下 所示： 其中， MLP()表示多层感知器， Conv()表 示核尺寸为7*7的卷积操作； 表示空间注 意 力权重下特征 图F的平均值； 表示空间注意力权重下特征 图F的最大值； 表示通道注 意力权重下特征图F的平均值； 表示通道注意力权 重下特征图F的最大值； 注意力增强机制表示如下： 3.根据权利要求1或2所述的基于深度学习的晶圆瑕疵检测方法， 其特征在于， 所述融 合模块融合拼接泛在瑕疵与特定瑕疵的概率， 测试阶段时， 融合模块将图像为正常的概率 PN与特定瑕疵的概率Pj进行融合拼接， 通过Softmax激活函数进行归一化处理， 得到晶圆图 像属于正常样本或某种特定 瑕疵的概 率。 4.根据权利要求1或2所述的基于深度学习的晶圆瑕疵检测方法， 其特征在于， 所述教 师网络在输出瑕疵区域结果及瑕疵区域概率时， 引入Focal损失函数LF用于缓减训练样本 不均衡， 采用交叉熵损失函数LT实现教师网络中泛在瑕疵的检测； LF＝‑α(1‑pi)γlog(pi)        (5) 其中， 超参数 ɑ和 γ 分别用于缓解正负样本和难易样本的不平 衡问题； yi表示训练样本标 签， pi表示泛在瑕疵检测输出概 率， K表示训练样本数目； 所述学生网络依靠从教师网络蒸馏信 息实现对多尺度特征的挖掘， 从而减小学生网络权　利　要　求　书 1/2 页 2 CN 115439428 A 2的时空复杂度； 学生网络输出细分瑕疵及特定瑕疵的概率时， 引入Softmax损失函数Ls和中 心损失函数LC； 其中， M表示细分瑕疵种类数目， 表示真实标签的one ‑hot编码， Zi表示样本属于第i种 瑕疵的概 率； 中心损失函数LC进行约束， 增 加分类样本的类间聚类， 减小类内距离； 其中， xi表示样本编码， cyi表示xi对应的特定 瑕疵类别的中心； 双通道教师 ‑学生网络通过加权方式获得加权组合损失函数， 公式如下 所示： L＝v1LT+v2LS+v3LF+v4LC      (9) 其中， v1、 v2、 v3、 v4 为设定的权 重。权　利　要　求　书 2/2 页 3 CN 115439428 A 3