(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210973847.2 (22)申请日 2022.08.15 (71)申请人 安徽大学 地址 230000 安徽省合肥市肥西路3号 (72)发明人 王寄神　曾雨舟　 (74)专利代理 机构 徐州迈程知识产权代理事务 所(普通合伙) 32576 专利代理师 胡建豪 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于RGB-D多通道信息融合的显著性检 测方法 (57)摘要 本发明公开一种基于RGB ‑D多通道信息融合 的显著性检测方法， 包括以下步骤： 获取训练模 型数据集、 数据预处理、 网络模型训练、 编码器提 取特征、 跨模态特征融合、 解码器解码和生成显 著性检测结果； 本发明在通用的RGB ‑D显著性检 测基础上， 加入RGB ‑D融合模块， 提取RGB ‑D之间 的联系特征， 并对普通的解码器进行优化， 采用 部分级联的方式， 将彩色图像特征， 深度图像特 征和显著性图像特征， 解码组合生成显著性预测 图， 对传统的SOD进行改进， RGB ‑D融合模块能有 效的将深度特征和RGB特征联系起来， 增强对模 糊前景背景边界的分离特征， 部分级联解码器可 以有效的去除后三层编码器网络提取特征中的 干扰信息， 使显著性图更加清晰。 权利要求书2页 说明书5页 附图2页 CN 115294453 A 2022.11.04 CN 115294453 A 1.一种基于RGB ‑D多通道信息融合的显著性检测方法， 其特 征在于， 包括以下步骤： 步骤一： 获取训练模型数据集， 对获取的数据集进行分级处理， 使数据集中包含成对的 彩色图像和深度图像以及其对应的显著性图像； 步骤二： 通过对获取的数据集中的图片进行随机水平移动、 随机旋转和缩放的预处理， 来对数据集进行 数据增强； 步骤三： 将数据增强后的数据集中的彩色模态图和深度模态图同时输入网络， 对网络 进行端到端的训练； 步骤四： 通过编码器网络提取彩色模态图的特征， 得到彩色模态图特征， 通过编码器网 络提取深度模态图的特 征， 得到深度模态图特 征； 步骤五： 选取彩色模态图特征和其对应的深度模态图特征中由编码器网络提取的后两 层输出特征， 输入到RGB ‑D融合网络并拼接， 实现网络的跨模态特征融合， 得到RGB ‑D融合网 络特征； 步骤六： 将提取的彩色模态图特征、 深度模态图特征以及RGB ‑D融合网络特征分别输入 到解码器进行解码， 得到三个特 征下的显著性预测数据； 步骤七： 将解码器解码得到的三个特征下的显著性预测数据进行聚合， 生成显著性检 测结果。 2.根据权利要求1所述的一种基于RGB ‑D多通道信 息融合的显著性检测方法， 其特征在 于： 所述步骤一中， 获取的数据集为公开数据集COM15k， 所述公开数据集COME15K包含15625 个图像对， 并提供二 值注释、 实例及注释。 3.根据权利要求1所述的一种基于RGB ‑D多通道信 息融合的显著性检测方法， 其特征在 于： 所述步骤一中， 分级处理后的数据集分为简单、 容易、 困难三个级别， 训练模 型时先用简 单的数据集， 再用容 易的数据集， 最后用困难的数据集。 4.根据权利要求1所述的一种基于RGB ‑D多通道信 息融合的显著性检测方法， 其特征在 于： 所述步骤二中， 所述数据集中的图片进行随机水平移动、 随机旋转和缩放的预处理后， 统一化为长224*宽224*通道数3的图片。 5.根据权利要求1所述的一种基于RGB ‑D多通道信 息融合的显著性检测方法， 其特征在 于： 所述步骤四中， 所述两个编码器网络架构相同， 且不共享权 重。 6.根据权利要求1所述的一种基于RGB ‑D多通道信 息融合的显著性检测方法， 其特征在 于： 所述步骤五中， 所述 跨模态特 征融合的具体步骤为： S1、 先将第i个彩色模态图特征提取网络的特征 和第i个深度模态图特征提取网 络的特征 输入到RGB ‑D融合网络， 再使用全局平均 池化层来获得彩色模态图特征 和深度模态图特征的全局统计信息， 再将两个特征送到全连接层并通过一个softmax激活 函数来获得注意力向量， 其中彩色模态图特征提取的注意力向量记为 深度模态图 特征提取的注意力向量记为 接着， 注意力向量以逐通道相乘的方式应用于输入 特征， 得到 权　利　要　求　书 1/2 页 2 CN 115294453 A 2S2、 将 和 通过一个最大化函数进行聚合， 并保存重要信息， 接着通过一 个标准操作N(.)将输出标准化到0 ‑1， 得到彩色模态图特征和深度模态图特征融合的注意 力向量， 记为 表示为 S3、 最后将融合的注意力向量 与输入的特征提取网络的特征逐通道相乘， 再 与 分别求和， 得到 将求和得到的两个特征向量串联， 输入到一 个1*1的卷积层， 生成最终的RGB ‑D融合特征 7.根据权利要求1所述的一种基于RGB ‑D多通道信 息融合的显著性检测方法， 其特征在 于： 所述步骤六中， 所述解码 器采用级联部 分解码器， 且只关注解码后的后三层高级语义信 息， 将后三层网络提取的特 征进行聚合、 解码， 得到一个初级的特 征图。权　利　要　求　书 2/2 页 3 CN 115294453 A 3