(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210927309.X (22)申请日 2022.08.03 (71)申请人 深圳市优必选科技股份有限公司 地址 518000 广东省深圳市南 山区学苑大 道1001号南山智园C1栋16、 2 2楼 (72)发明人 蔡诗晗　葛利刚　付春江　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 肖遥 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于多任务学习的图像处理方法、 装置 及智能设备 (57)摘要 本申请公开了一种基于多任务学习的图像 处理方法、 装置、 智能设备及存储介质。 该方法包 括： 将待处理图像输入已训练的多任务学习模 型， 多任务学习模型包括： 特征金字塔网络及轻 量级的骨干网络， 其中， 骨干网络用于自底向上 提取待处理图像中多个层级的特征， 特征金字塔 网络用于自顶向下融合骨干网络所提取的不同 层级的特征； 根据特征金字塔网络自顶向下融合 的过程中所得的最顶层及最下层的特征， 得到针 对待处理图像的人体姿态估计结果； 根据特征金 字塔网络自顶向下融合的过程中所得的预设的 目标层的特征， 得到针对待处理图像的目标检测 结果。 通过本申请方案， 可 以在嵌入式的智 能设 备上同时实现快速且准确度较高的人体姿态估 计任务及目标检测任务。 权利要求书2页 说明书13页 附图4页 CN 115439881 A 2022.12.06 CN 115439881 A 1.一种基于多任务学习的图像处 理方法， 其特 征在于， 包括： 将待处理图像输入已训练的多任务学习模型， 所述多任务学习模型包括： 特征金字塔 网络及轻量级的骨干网络， 其中， 所述骨干网络用于自底向上提取所述待处理图像中多个 层级的特征， 所述特征金字塔网络用于自顶向下融合所述骨干网络所提取的不同层级的特 征； 根据所述特征金字塔网络自顶向下融合的过程中所得的最顶层及最下层的特征， 得到 针对所述待处 理图像的人体姿态估计结果； 根据所述特征金字塔网络自顶向下融合的过程中所得的预设的目标层的特征， 得到针 对所述待处 理图像的目标检测结果。 2.如权利要求1所述的图像处理方法， 其特征在于， 所述人体姿态估计结果包括： 人体 关键点位置及人体关键点可见标志 位， 所述人体关键点位置用于指示各个人体关键点在所 述待处理图像中的坐标， 所述人体关键点可见标志 位用于指示各个人体关键点在所述待处 理图像中是否可见； 所述根据所述特征金字塔网络自顶向下融合的过程中所得的最顶层及 最下层的特 征， 得到针对所述待处 理图像的人体姿态估计结果， 包括： 根据所述特征金字塔网络自顶向下融合的过程中所得的最顶层的特征， 得到针对所述 待处理图像的人体关键点可 见标志位； 根据所述特征金字塔网络自顶向下融合的过程中所得的最下层的特征， 得到热力图及 偏移图， 其中， 所述热力图用于预测各个人体关键点的像素级位置， 所述偏移图用于预测各 个人体关键点的像素级位置在亚像素级的局部偏移量； 根据所述热力图及所述偏移图， 得到针对所述待处 理图像的人体关键点 位置。 3.如权利要求2所述的图像处理方法， 其特征在于， 所述多任务学习模型在训练过程中 针对人体关键点 位置所采用的损失函数为： 其中， P为所述多任务学习模型在训练过程中预测的人体关键点位置； Y为真实的人体 关键点位置； S为预设的人体关键点对集合； i,j∈S用于表 示i及j分别为所述人体 关键点对 集合中的一个人体关键点对所对应的两个不同人体关键点。 4.如权利要求2所述的图像处 理方法， 其特 征在于， 所述图像处 理方法还 包括： 若接收到针对所述人体关键点位置的异常检查请求， 则分析所述热力图， 或者分析所 述热力图及所述偏移图； 根据分析 结果定位异常原因。 5.如权利要求1所述的图像处理方法， 其特征在于， 所述骨干网络所采用的激活函数 为： 其中， x用于表示所述激活函数的输入， Activati on(x)用于表示所述激活函数的输出。 6.如权利要求1所述的图像处理方法， 其特征在于， 所述多任务学习模型的训练过程包 括：权　利　要　求　书 1/2 页 2 CN 115439881 A 2获取原始的样本图像； 对所述原 始的样本图像进行针对人体关键点的裁 剪处理， 得到处 理后的样本图像； 根据所述裁剪处理， 更新所述原始 的样本图像的标签数据， 得到所述处理后的样本 图 像的标签数据； 根据所述处理后的样本图像及所述处理后的样本图像的标签数据对待训练的所述多 任务学习模型进行训练。 7.如权利要求6所述的图像处理方法， 其特征在于， 所述对所述原始的样本图像进行针 对人体关键点的裁 剪处理， 得到处 理后的样本图像， 包括： 根据预设的裁剪概率， 对所述原始的样本图像中的每个人体关键点进行裁剪可行性的 判断； 针对每个目标人体关键点， 确定与所述目标人体关键点对应的目标裁剪点， 所述目标 裁剪点与所述目标人体关键点之间的间隔距离在预设的距离范围之内， 所述目标人体关键 点为： 判断结果指示裁 剪可行的人体关键点； 以所述目标裁剪点为圆心， 以指定长度为半径， 确定裁剪范围， 其中， 所述指定长度在 预设的长度范围之内； 根据所述裁 剪范围， 对所述原 始的样本图像进行裁 剪处理， 得到处 理后的样本图像。 8.一种基于多任务学习的图像处 理装置， 其特 征在于， 包括： 输入模块， 用于将待处理图像输入已训练的多任务学习模型， 所述多任务学习模型包 括： 特征金字塔网络及轻量级的骨干网络， 其中， 所述骨干网络用于自底向上提取所述待处 理图像中多个层级的特征， 所述特征金字塔网络用于自顶向下融合所述骨干网络所提取的 不同层级的特 征； 第一确定模块， 用于根据所述特征金字塔网络自顶向下融合的过程中所得的最顶层及 最下层的特 征， 得到针对所述待处 理图像的人体姿态估计结果； 第二确定模块， 用于根据所述特征金字塔网络自顶向下融合的过程中所得的预设的目 标层的特 征， 得到针对所述待处 理图像的目标检测结果。 9.一种智能设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7 任一项所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115439881 A 3