(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210955003.5 (22)申请日 2022.08.10 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 俞俊　杨文杰　朱素果　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 朱月芬 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于深监督融合和特征平滑的指向性 物体分割方法 (57)摘要 本发明公开了一种基于深监督融合和特征 平滑的指向性物 体分割方法。 本发 明采用深监督 特征融合， 能够在特征融合与上采样过程中对特 征充分监督， 同时可以有效结合不同细粒度特征 信息， 使的最终获得的掩码即可以保留全局特征 下的位置信息， 也可兼顾局部特征中的细节信息 从而有效的提高分割的准确率， 采用特征平滑损 失函数， 可以有效降低特征在融合与上采样过程 的大幅波动的可能性， 提升最终生成分割掩码的 一致性， 保证了模型训练过程的稳定性。 基于不 同的backbone可采用一些训练技巧， 选 择对应合 理的网络参数、 优化算法以及学习率的设置， 从 而提高了指向性物体分割的准确率。 权利要求书2页 说明书6页 附图2页 CN 115331005 A 2022.11.11 CN 115331005 A 1.一种基于深监督融合和特征平滑的指向性物体分割方法， 其特征在于包括如下步 骤： 步骤1.数据集获取； 从现有的公开指向性物体分割数据集中， 选择Refcoco、 Refcoco+、 Refcocog数据集； 步骤2.数据处理； 在步骤1所获取的指向性物体分割数据集上， 通过数据集中的注解与 图像通过掩码生成程序生成标准事实分割掩码； 步骤3.构建基于深监 督融合和特 征平滑的指向性物体分割模型； 在原指向性物体分割 模型的基础上添加深监督融合模块； 深监督融合模块添加于原指 向性物体分割模型的解码上采样模块后， 解码过程中参与上采样过程的所有 特征作为深监 督融合模块的输入， 将 深监督融合模块的输出作为 最终的模型 预测结果； 步骤4.损失函数； 损失函数的作用是用于衡量模型的预测值与分割样本标签之间的差异， 以及衡量特征 在融合上采样过程中的平滑程度； 在步骤3的深监督融合模块下添加特征平滑损失函数， 其 余部分均采用交叉熵损失函数； 步骤5.网络训练与测试。 2.根据权利要求1所述一种基于深监督融合和特征平滑的指向性物体分割方法， 其特 征在于， 所述的原指向性物体 分割模型为所有满足采用类UNet作为网络架构的指向性物体 分割模型。 3.根据权利要求1所述一种基于深监督融合和特征平滑的指向性物体分割方法， 其特 征在于， 在步骤3所述的模型中所 添加的深监 督融合模块， 具体实现如下： 深监督融合模块部分： 3‑1.取在原指向性物体分割模型的网络骨架结构中解码阶段的上采样过程中的所有 特征块， 将特征块分别送入批正则化(BatchNormalization层)以及alpha值为0.1的 LeakyReLU激活函数映射得到处理后的特征块， 再对新得到的特征块分别使用1 ×1的卷积 核进行处理， 卷积核步长定义为1， 保留特征的高度H与宽度W， 输出的特征的频道数C为1得 到不同尺寸对应预测分割掩码； 3‑2.分别将步骤3 ‑1得到的预测分割掩码进行线性插值上采样， 使 的不同尺寸的预测 分割掩码与步骤2获得的标准事实分割掩码的尺 寸相同， 实现所有 预测分割掩码尺寸统一， 分别计算预测分割掩码与标准事实分割掩码的交叉熵作为部分损失函数值； 3‑3.将不同尺寸特征经过步骤3 ‑2上采样后的所得到预测的特征掩码进行拼接， 对拼 接所得到的掩码块送入一维最大池化层所输出的最终掩码做为模型最后的预测结果。 4.根据权利要求3所述一种基于深监督融合和特征平滑的指向性物体分割方法， 其特 征在于， 步骤4所述的损失函数由以下部分组成： 特征平滑损失函数部分： 首先求取从深监督融合模块中所得到的不同细粒度的分割掩码的均值如公式(1)所 示； 其中Pn为其中第n个细粒度输出分割掩码矩阵， N 为不同细粒度掩码总数；权　利　要　求　书 1/2 页 2 CN 115331005 A 2随后计算不同细粒度预测分割掩码与所有预测分割掩码均值的KL散度 作为正则化 损失项如公式(2)所示； 其中 是指Paverage中为与像素ij处的值， 是指Pn中像素ij处的值； 此处 反应了第n个掩码在像素ij位置上的不确定性； 取 作为该像素ij 的权 重， 列出特征平滑损失函数的计算方式如公式(3)； 其中λ取0.2， N 为不同细粒度掩码总数； 最终模型的总损失函数如下 所示公式(4)所示； L＝∑nλnLn+Lsmooth    (4) 其中Ln值为第n个预测分割掩码Pn与标准事实的分割掩码Pgt之间的交叉熵。 5.根据权利要求4所述一种基于深监督融合和特征平滑的指向性物体分割方法， 其特 征在于， 步骤5具体方法如下： 使用步骤1中的数据集中的图像与引用表达式作为输入， 步骤2所生成的分割掩码作为 标准事实用于训练步骤3构建的网络模 型； 在每轮训练间隔中， 评估本轮训练所得到的模型 在验证集上 的性能， 评估采用平均交并比作为性能指标， 整个训练过程中结束后将会采用 在验证集上历史记录中性能最优的作为 最佳模型； 训练过程中定义Adam优化器， 需要给模型设定一个合理的学习率， 考虑到不同模型采 用不同的网络骨架结构， 因而对于学习率的敏感程度大不相同， 结合骨架结构定义合适的 初始学习率l0， 模型在训练的过程中， 学习率随批次数增加而减缓， 每10个批次学习率调整 为原来的0.5， 从而有效抑制由于学习率大导致的准确率振 荡现象， 从而找到更优的网络参 数； 同时采用L2正则化 来有效降低过拟合； 学习率衰减公式为如公式(5)： lp＝l0×0.5epoch//10      (5) 上述式中， p为训练批次数(epoc h)； 定义L2正则化项的超参数采用的是0.0 005。 6.根据权利要求1所述一种基于深监督融合和特征平滑的指向性物体分割方法， 其特 征在于， 步骤5所述的评估指标如下： 采用平均交并比作为最终评估用以衡量模型的最终分割性 能的体现； 平均交并比是指 首先计算每张预测分割图与真实分割图不同类别的交并比， 并求取其均值； 再把所有测试 集的均值交并比相加， 再除以测试图像的数量得到平均 交并比； 该项评估指标能够有效的 评测模型分割的精度。权　利　要　求　书 2/2 页 3 CN 115331005 A 3