(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210957662.2 (22)申请日 2022.08.10 (71)申请人 太原科技大 学 地址 030024 山西省太原市万柏林区窊流 路66号 (72)发明人 谢刚　谢新林　胡啸　张林　王银　 李林娟　张浩雪　 (74)专利代理 机构 太原新航路知识产权代理事 务所(特殊普通 合伙) 14112 专利代理师 王勇 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/52(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的表面缺陷实时检测方 法 (57)摘要 本发明涉及产品表 面缺陷检测技术， 具体是 一种基于深度学习的表面缺陷实时检测方法， 该 方法是采用如下步骤实现的： 步骤一： 制作产品 表面缺陷数据集； 步骤二： 构建MobileNetv3 ‑ C A TR 主 干 特 征 提 取网 络 ； 步 骤 三 ： 训练 MobileNetv3 ‑CATR主干特征提取网络； 步骤四： 将 待 检 测 的 产 品 表 面 缺 陷 图 片 输 入 到 MobileNetv3 ‑CATR主干特征提取网络进行缺陷 特征提取； 步骤五： 将13 ×13尺度的特征图输入 到空间金字塔池化模块； 步骤六： 构建轻量级加 权双向特征金字塔； 步骤七： 将处理后的13 ×13 尺度的特征图、 26 ×26尺度的特征图、 52 ×52尺 度的特征图输入到轻量级加权双向特征金字塔 进行缺陷特征融合。 本发明有效解决了现有产品 表面缺陷检测方法检测实时性差的问题， 适用于 产品表面 缺陷检测。 权利要求书2页 说明书4页 附图4页 CN 115249242 A 2022.10.28 CN 115249242 A 1.一种基于深度学习的表面缺陷实时检测方法， 其特征在于： 该方法是采用如下步骤 实现的： 步骤一： 制作产品表面缺陷数据集； 所述产品表面缺陷数据集包括训练集、 验证集、 测 试集； 步骤二： 构建Mobi leNetv3‑CATR主干特 征提取网络； 步骤三： 先利用产品表面缺 陷数据集中的训练集来训练MobileNetv3 ‑CATR主干特征提 取网络， 再利用产品表 面缺陷数据集中的测试集来测试MobileNetv3 ‑CATR主干特征提取网 络的检测精度； 步骤四： 将待检测的产品表面缺 陷图片输入到MobileNetv3 ‑CATR主干特征提取网络进 行缺陷特征提取， 由此得到三个尺度不同的特征图； 所述三个尺度不同的特征图包括： 13 × 13尺度的特 征图、 26×26尺度的特 征图、 52×52尺度的特 征图； 步骤五： 将13 ×13尺度的特征图输入到空间金字塔池化模块， 空间金字塔池化模块利 用不同大小的池化核对13 ×13尺度的特征图进行多样性的尺度处理， 由此得到处理后的13 ×13尺度的特 征图； 步骤六： 构建轻量级加权双向特 征金字塔； 步骤七： 先将处理后的13 ×13尺度的特征图、 26 ×26尺度的特征图、 52 ×52尺度的特征 图输入到轻量级加权双向特征金字塔进行缺陷特征融合， 再将融合后的三个尺度不同的特 征图分别输入到各自的检测头中， 由此得到三个尺度不同的检测头， 然后对三个尺度不同 的检测头进行处理， 每个检测头由此得到三组候选框的调整参数， 最后根据候选框的调整 参数调整候选框的坐标和尺寸， 由此生成预测框， 从而确定产品表 面缺陷的信息； 所述三个 尺度不同的检测头包括： 13 ×13尺度的检测头、 26 ×26尺度的检测头、 52 ×52尺度的检测 头； 每组候选框的调整参数均包括： 一个置信度参数、 四个调整坐标和尺寸的参数、 多个类 别参数。 2.根据权利要求1所述的一种基于深度 学习的表面缺陷实时检测方法， 其特征在于： 所 述步骤一中， 所述产品表面缺陷数据集包括由多张带有缺陷特征的产品表面缺陷图片构成 的训练集、 由多张带有缺陷特征 的产品表面缺陷图片构成的验证集、 由多张带有缺陷特征 的产品表面缺陷图片构成的测试集； 训练集中的图片数量、 验证集中的图片数量、 测试集中 的图片数量之比为8 :1:1。 3.根据权利要求2所述的一种基于深度 学习的表面缺陷实时检测方法， 其特征在于： 所 述步骤一中， 所述 缺陷特征包括轧屑、 斑点、 裂纹、 凹坑、 夹杂物、 划痕。 4.根据权利要求1所述的一种基于深度 学习的表面缺陷实时检测方法， 其特征在于： 所 述步骤二中， Mobi leNetv3‑CATR主干特 征提取网络的构建步骤具体如下： 首先， 利用协调注意力模块和动态激活函数构建CA ‑Bneck模块； 其次， 利用CA ‑Bneck模块将原MobileNetv3主干特征提取网络中的Bneck模块替换， 由 此得到重组的Mobi leNetv3主干特 征提取网络； 然后， 在重组的MobileNetv3主干特征提取网络中加入Transformer模块， 由此得到 MobileNetv3‑CATR主干特 征提取网络 。 5.根据权利要求1所述的一种基于深度 学习的表面缺陷实时检测方法， 其特征在于： 所 述步骤六中， 轻量级加权双向特 征金字塔的构建步骤具体如下：权　利　要　求　书 1/2 页 2 CN 115249242 A 2首先， 删除加权双向特 征金字塔中的两个特 征层； 其次， 在位于同一特征层的原始输入节点和输出节点之间添加额外的边， 由此得到轻 量级加权双向特 征金字塔。 6.根据权利要求1所述的一种基于深度 学习的表面缺陷实时检测方法， 其特征在于： 所 述步骤七中， 在进行缺陷特征融合时， 轻量级加权双向特征金字塔对每个特征图都给予一 个相同的权 重， 并在进行拼接操作时进行一个归一 化处理。 7.根据权利要求1所述的一种基于深度 学习的表面缺陷实时检测方法， 其特征在于： 所 述步骤七中， 所述产品表面 缺陷的信息包括产品表面 缺陷的类别、 产品表面 缺陷的位置 。权　利　要　求　书 2/2 页 3 CN 115249242 A 3