(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211150681.0 (22)申请日 2022.09.21 (71)申请人 宜兴子嘉智能科技有限公司 地址 214200 江苏省无锡市宜兴 市和桥镇 锡宜公路东侧316 -102 (72)发明人 蒋琦　朱勐　陈西北　王君侠　 焦俊勇　 (74)专利代理 机构 南京苏创专利代理事务所 (普通合伙) 32273 专利代理师 常晓慧 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于4D时空卷积模型的焊缝检测方法 (57)摘要 本发明公开了一种基于4D时空卷积模型的 焊缝检测方法， 建立具有四个维度卷积神经网 络， 使用广义稀疏卷积的偏移量 来组成混合 核的基本框架， 利用广义稀 疏卷积来创建高维网 络， 进行语义分割， 创建高维条件随机场， 制作数 据集， 对三维点云数据进行去噪处理， 对采集到 的原始点云数据进行稀 疏张量化处理， 本发明的 有益效果： 基于点云的深度学习模 型对多层多道 焊进行端到端训练， 将训练样 本送入模 型的输入 端进行学习， 提炼坡口多层多道焊的特征， 通过 调整卷积核， 运用分割模块中的条件随机场和高 维卷积核， 降低与真实值之间的误差， 使得模型 能更准确识别多层多道焊的焊缝。 权利要求书2页 说明书5页 附图7页 CN 115526851 A 2022.12.27 CN 115526851 A 1.一种基于4D时空卷积模型的焊缝检测方法， 其特 征在于， 包括以下步骤： 步骤一： 基于三维点云数据的基础上， 增加表示 时间的维度， 建立具有四个维度 卷积神 经网络； 步骤二： 利用混合核作为卷积核进行计算， 使用广义稀疏卷积的偏移量 来组成混合 核的基本框架， 所述混合核是一个十字内核和超立方内核的组合， 超立方内核表示空间的 维度， 用于捕捉空间的几何特征， 十字内核表示时间维度， 用于连接在不同时间段的空间中 的同一点； 步骤三： 利用广义稀疏卷积来创建高维网络， 在原有的二维卷积网络ResNet进行改造， 在基础残差网络上增加多个步进式稀疏卷积和转置卷积， 保留残差网络的跨越式卷积结 构， 并在模块与模块之间使用U ‑Net进行特征的融合； 步骤四： 使用同一构架的多个变体进行语义分割实验， 针对语义分割的实验数据， 运用 高维条件随机常对语义的分割数据进行细化； 步骤五： 高维条件随机场利用 在空间域相邻但颜色不同的点之间创造间隔， 防止信息 泄露到不同区域， 令处于七维空间中的条件随机场的一个节 点为xi， 它的势函数为φu(xi)， 相邻点之间的势函数为φP(xi， xj)， 则在该 领域的条件随机场可以定义 为： 其中， Z是配分函数， 表示所有节点势函数状态之和， X代表该空间中全体点云的集合， 相邻点之间的势函数φp必须满足平稳条件φp(u， v)＝φp(u+τu， v+τv)， 其中τu， τv∈RD， 其 中， R代表集合中的数属 于实数， D代表D维实数集， P是概率， 在此公式中代表随机场； X是该 空间中全体点云的集合； Z是归一化因子； N代表空间； (u， v)代表二维空间上的节点， φp(u， v)代表在该点的势函数， τu和 τv代表节点增量。 步骤六： 数据集的制作， 在焊缝焊接完成后采用三维扫描仪对当前道次焊缝进行扫描， 并获取当前焊缝的三维点云数据； 步骤七： 对三维点云数据进行去噪处理， 经过去噪处理的点云数据通过点云处理软件 标记出增材区域的轮廓， 以制作网络模 型的真实值， 为了得到较为完整光滑的特征提取线， 需要对封装之后的点云数据进行松弛， 之后通过三维点云处理软件里 的边界创建工具， 提 取到焊接区域的轮廓线， 作为输入数据的特 征； 步骤八： 对采集到的原始点云数据进行稀疏张量化处理， 并最终得到一个包含所有原 有数据坐标与其特 征的稀疏张量； 步骤九： 将稀疏张量作为 4D时空卷积模型的输入， 得到焊缝的3D分割结果。 2.根据权利要求1所述的一种基于4D时空卷积模型的焊缝检测方法， 其特征在于： 在步 骤一中， 将训练样 本送入模 型的输入端进行学习， 设定学习率为0.1 ‑0.3， 包括随机缩放、 围 绕重力轴的旋转、 空间平 移、 空间弹性失真以及色度平 移和抖动来 提高网络的泛化能力。 3.根据权利要求1所述的一种基于4D时空卷积模型的焊缝检测方法， 其特征在于： 在步 骤三中， 对于初始的卷积层， 用5 ×5×5×1的稀疏卷积核代 替原有的7 ×7卷积核， 对于网络 的剩余部分， 保持和原有的残差网络相同的结构。 4.根据权利要求1所述的一种基于4D时空卷积模型的焊缝检测方法， 其特征在于： 在步 骤四中， 所采用的同一架构具体为ResNet结构， 所述变体表示不同超立方体内核和 十字内权　利　要　求　书 1/2 页 2 CN 115526851 A 2核的组合。 5.根据权利要求1所述的一种基于4D时空卷积模型的焊缝检测方法， 其特征在于： 在步 骤五中， 所述高维条件随机场包括空间坐标xyz、 时间t、 颜色空间rgb共 七个维度。 6.根据权利要求1所述的一种基于4D时空卷积模型的焊缝检测方法， 其特征在于： 在步 骤六中， 为了测试网络对多层多道焊的提取效果， 采用的焊件焊接层数为二层， 焊接道数为 二道， 每焊接完一道后立即使用扫描仪进行道次焊缝扫描。 7.根据权利要求1所述的一种基于4D时空卷积模型的焊缝检测方法， 其特征在于： 在步 骤八中， 通过人工设定颜色的方法对特征图进行标记， 以突出原始数据和特征轮廓线之间 的颜色差异， 然后对输入的数据进行增广， 包括对数据进行体素化， 翻转变换， 在颜色上进 行抖动变换， 随后稀疏卷积网络会把经过处理的体素化下采样点云编译成稀疏张量， 对点 云数据的坐标进行量化， 组成批处理的格式， 在点云坐标前面加上编号用于区分点云局部 不同性状， 最后调用稀疏张量转换函数把原有的浮点类型坐标转换成整型坐标， 把数据的 特征与原始坐标进行融合， 整合为一个输入变量， 在保持点云大体结构不变的前提下对输 入数据进行删减处 理， 最终得到一个包 含所有原有数据坐标与其特 征的稀疏张量。权　利　要　求　书 2/2 页 3 CN 115526851 A 3