(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211008001.1 (22)申请日 2022.08.22 (71)申请人 香港理工大 学深圳研究院 地址 518057 广东省深圳市南 山区粤海街 道高新技术产业园南区粤兴一道18号 香港理工大 学产学研大楼 205室 (72)发明人 范峻铭　郑湃　李树飞　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 谢松　吴志益 (51)Int.Cl. G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06T 3/40(2006.01) (54)发明名称 一种基于深度学习的多颗粒度人机共融环 境感知方法 (57)摘要 本发明公开了一种基于深度学习的多颗粒 度人机共融环 境感知方法， 获取人机共融场景的 RGB图像和深度图像； 将所述RGB图像和所述深度 图像输入编码网络， 得到编码图像； 将所述编码 图像输入金字塔池化模块， 得到池化图像； 将所 述池化图像输入解码网络， 得到解码图像； 将所 述解码图像输入多粒度分割输出模块， 得到不同 粒度等级的场景分割图像； 其中， 所述粒度等级 包括区域等级、 实体等级以及实体的部分等级。 不同粒度等级的场景分割图像为协作机器人提 供更加完善的环境感知能力， 使其能够根据环境 和任务的不同自适应地切换不同粒度的环境感 知分割结果， 从而更好地进行后续协作行为决策 和运动规划。 权利要求书3页 说明书12页 附图6页 CN 115482532 A 2022.12.16 CN 115482532 A 1.一种基于深度学习的多颗粒度人机共融环境感知方法， 其特征在于， 该方法包括步 骤： 获取人机共融场景的RGB图像和深度图像； 其中， 所述RGB图像和所述深度图像是对同 一人机共融场景拍摄得到的图像； 将所述RGB图像和所述深度图像输入编码网络， 得到编码图像； 将所述编码图像输入金字塔池化模块， 得到池化图像； 将所述池化图像输入解码网络， 得到解码图像； 将所述解码图像输入多粒度分割输出模块， 得到不同粒度等级的场景分割图像； 其中， 所述粒度等级包括区域 等级、 实体等级以及实体的部分等级； 所述解码网络包括： 第一上采样模块、 第二上采样模块以及第三上采样模块； 所述将所 述池化图像输入解码网络， 得到解码图像， 包括： 将所述池化图像输入第 一上采样模块， 得到不同粒度等级的第 一细化分割图像以及第 一上采样图像； 将所述第一上采样图像和第 一细化分割图像输入所述第 二上采样模块， 得到不同粒度 等级的第二细化分割图像以及第二上采样图像； 将所述第二上采样图像和第 二细化分割图像输入所述第 三上采样模块， 得到不同粒度 等级的第三细化分割图像以及第三上采样图像， 并将所述第三细化分割图像以及所述第三 上采样图像作为 解码图像。 2.根据权利要求1所述的基于深度学习的多颗粒度人机共融环境感知方法， 其特征在 于， 所述编码网络包括： 第一下采样模块、 第二下采样模块、 第三下采样模块、 第四下采样模 块、 第一融合模块、 第二融合模块、 第三融合模块以及第四融合模块； 所述将所述RGB图像和所述深度图像输入编码网络， 得到编码图像， 包括： 将所述深度图像和所述RGB图像分别输入所述第一下采样模块， 得到第一下采样深度 图像和第一下采样RGB图像； 将所述第一下采样深度图像和所述第一下采样RGB图像输入所述第一融合模块， 得到 第一融合图像； 将所述第一下采样深度图像和所述第 一融合图像分别输入所述第 二下采样模块， 得到 第二下采样 深度图像和第二下采样RGB图像； 将所述第二下采样深度图像和所述第二下采样RGB图像输入所述第二融合模块， 得到 第二融合图像； 将所述第二下采样深度图像和所述第 二融合图像分别输入所述第 三下采样模块， 得到 第三下采样 深度图像和第三下采样RGB图像； 将所述第三下采样深度图像和所述第三下采样RGB图像输入所述第三融合模块， 得到 第三融合图像； 将所述第三下采样深度图像和所述第 三融合图像分别输入所述第四下采样模块， 得到 第四下采样 深度图像和第四下采样RGB图像； 将所述第 四下采样深度图像和所述第 四下采样RGB图像输入所述第四融合模块， 得到 第四融合图像， 并将所述第四融合图像作为编码图像。 3.根据权利要求2所述的基于深度学习的多颗粒度人机共融环境感知方法， 其特征在权　利　要　求　书 1/3 页 2 CN 115482532 A 2于， 所述第一融合模块与所述第三上采样模块跳跃连接； 所述第二融合模块与所述第二上 采样模块跳跃连接； 所述第三融合模块与所述第一上采样模块跳跃连接； 所述第三上采样 模块包括： 第一卷积模块、 第一上采样 深度卷积模块、 不同粒度等级的细化分割模块； 所述将所述第 二上采样图像和第 二细化分割图像输入所述第 三上采样模块， 得到不同 粒度等级的第三细化分割图像以及第三上采样图像， 包括： 将所述第二上采样图像输入第一卷积模块， 得到第一卷积图像； 将所述第一卷积图像输入所述第一上采样 深度卷积模块， 得到第一深度卷积图像； 将所述第一深度卷积图像和所述第一融合图像拼接， 得到第三上采样图像； 将所述第一卷积图像和粒度等级的第二细化分割图像输入对应粒度等级的细化分割 模块， 得到对应粒度等级的第三细化分割图像。 4.根据权利要求3所述的基于深度学习的多颗粒度人机共融环境感知方法， 其特征在 于， 所述细化分割模块包括： 第一上采样卷积模块和第一卷积层； 所述将所述第一卷积图像 和粒度等级的第二细化分割图像输入对应粒度等级的细化分割模块， 得到对应粒度等级的 第三细化分割图像， 包括： 将粒度等级的第二细化分割图像输入所述第 一上采样卷积模块， 得到第 一上采样卷积 图像； 将所述第一卷积图像和所述第 一上采样卷积图像拼接后输入所述第 一卷积层， 得到对 应粒度等级的第三细化分割图像。 5.根据权利要求2所述的基于深度学习的多颗粒度人机共融环境感知方法， 其特征在 于， 所述第一融合模块包括： 第一池化卷积模块和第二池化卷积模块； 所述将所述第一下采样深度图像和所述第一下采样 RGB图像， 输入所述第一融合模块， 得到第一融合图像， 包括： 将所述第一下采样 深度图像输入所述第一池化卷积模块， 得到第一池化卷积图像； 将所述第一下采样RGB图像输入所述第二池化卷积模块， 得到第二池化卷积图像； 将所述第一池化卷积图像和所述第二池化卷积图像拼接， 得到第一融合图像。 6.根据权利要求2所述的基于深度学习的多颗粒度人机共融环境感知方法， 其特征在 于， 所述多 粒度分割输出模块包括： 不同粒度等级的分割输出模块， 各粒度等级的分割输出 模块包括： 第二上采样卷积模块、 第二卷积层、 第二上采样深度卷积模块以及第三上采样深 度卷积模块； 所述将所述解码图像输入多粒度分割输出模块， 得到不同粒度等级的场景分割图像， 包括： 将所述第三上采样图像输入所述第二卷积层， 得到第二卷积图像； 将粒度等级的第三细化分割图像输入对应粒度等级的分割输出模块中的第二上采样 卷积模块， 得到第二上采样卷积图像； 将所述第二卷积图像和所述第一上采样卷积图像拼接后输入所述第二上采样深度卷 积模块， 得到第二深度卷积图像； 将所述第二深度 卷积图像输入所述第 三上采样深度 卷积模块， 得到对应粒度等级的场 景分割图像。 7.根据权利要求1所述的基于深度学习的多颗粒度人机共融环境感知方法， 其特征在权　利　要　求　书 2/3 页 3 CN 115482532 A 3