(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210769316.1 (22)申请日 2022.06.30 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 杨黔生　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 人体重建方法和装置 (57)摘要 本公开提供了人体重建方法和装置， 涉及人 工智能技术领域， 具体涉及计算机视觉、 图像处 理和深度学习技术领域。 具体实施方式包括： 将 人体图像输入 人体重建模型， 利用所述人体重建 模型的主干网络， 提取所述人体图像的特征； 基 于人体重建模 型中的两个分支网络， 分别处理特 征， 得到关键点定位图和形态特征图； 利用所述 人体重建模 型， 对所述关键点定位图和所述形态 特征图进行融合， 生成蒙皮多人线性SMPL参数， 其中， 所述SMPL参数包括姿态参数和形态参数。 本公开提供了两个 分支网络， 可以提高预测的准 确度。 权利要求书4页 说明书10页 附图5页 CN 115147547 A 2022.10.04 CN 115147547 A 1.一种人体重建方法， 所述方法包括： 将人体图像输入预训练的人体重建模型， 利用所述人体重建模型的主干网络， 提取所 述人体图像的特 征， 其中， 所述人体重建模型包括两个分支网络； 基于所述两个分支网络， 分别处 理所述特 征， 得到关键点定位图和形态特 征图； 利用所述人体重建模型， 对所述关键点定位图和所述形态特征图进行融合， 生成蒙皮 多人线性SMPL 参数， 其中， 所述SMPL 参数包括姿态参数和形态参数。 2.根据权利要求1所述的方法， 其中， 所述两个分支网络包括第 一分支网络和第 二分支 网络； 所述基于所述两个分支网络， 分别处理所述特征， 得到关键点定位图和形态特征图， 包 括: 通过所述第一分支网络处理所述特征， 以进行关键点定位， 得到指示人体关键点的高 斯热图； 对所述高斯热图进行归一 化， 得到所述关键点定位图。 3.根据权利要求1所述的方法， 其中， 所述利用所述人体重建模型， 对所述关键点定位 图和所述形态特 征图进行融合， 生成蒙皮多人线性SMPL 参数， 包括： 利用所述人体重建模型， 对所述关键点定位图和所述形态特征图相乘， 得到局部注意 力特征图； 对所述局部注意力特 征图进行回归， 生成SMPL 参数。 4.一种人体重建模型的训练方法， 所述方法包括： 将人体图像样本输入待训练的人体重建模型， 利用所述人体重建模型的主干网络， 提 取所述人体图像样本的特 征， 其中， 所述人体重建模型包括两个分支网络； 基于所述两个分支网络， 分别处 理所述特 征， 得到关键点定位图和形态特 征图； 利用所述人体重建模型， 对所述关键点定位图和所述形态特征图进行融合， 生成SMPL 参数， 其中， 所述SMPL 参数包括姿态参数和形态参数； 确定所述SMPL 参数对应的二维关键点； 基于所述二维关键点和所述人体图像样本的二维关键点真值， 训练所述人体重建模 型， 得到目标 人体重建模型。 5.根据权利要求 4所述的方法， 其中， 所述方法还 包括： 确定所述SMPL 参数对应的三维关键点； 确定所述 三维关键点和所述人体图像样本的三维关键点真值之间的三维损失； 以及 所述基于所述二维关键点和所述人体图像样本的二维关键点真值， 训练所述人体重建 模型， 包括： 确定所述 二维关键点和所述人体图像样本的二维关键点真值之间的二维损失； 基于所述 二维损失和所述 三维损失， 确定所述人体重建模型的总损失； 基于所述总损失， 训练所述人体重建模型。 6.根据权利要求5所述的方法， 其中， 所述方法还 包括： 确定所述SMPL 参数和SMPL 参数真值之间的损失， 将该损失作为预测损失； 以及 所述基于所述 二维损失和所述 三维损失， 确定所述人体重建模型的总损失， 包括： 基于所述 二维损失、 三维损失和所述预测损失的和， 确定所述人体重建模型的总损失。权　利　要　求　书 1/4 页 2 CN 115147547 A 27.根据权利要求 4所述的方法， 其中， 所述确定所述SMPL 参数对应的二维关键点， 包括： 将所述三维关键点投影到二维平面， 得到二维关键点。 8.根据权利要求4所述的方法， 其中， 所述两个分支网络包括第 一分支网络和第 二分支 网络； 所述基于所述两个分支网络， 分别处理所述特征， 得到关键点定位图和形态特征图， 包 括： 通过所述第一分支网络处理所述特征， 以进行关键点定位， 得到指示人体关键点的高 斯热图； 对所述高斯热图进行归一 化， 得到所述关键点定位图。 9.根据权利要求8所述的方法， 其中， 所述方法还 包括： 确定所述 二维关键点和所述人体图像样本的二维关键点真值之间的二维损失； 所述基于所述二维关键点和所述人体图像样本的二维关键点真值， 训练所述人体重建 模型， 包括： 确定所述高斯热图与高斯热图真值之间的热图损失； 基于所述 二维损失和所述热图损失， 确定所述人体重建模型的总损失； 基于所述总损失， 训练所述人体重建模型。 10.根据权利要求 4所述的方法， 其中， 所述人体图像样本的生成步骤 包括： 对人体图像初始样本进行预设扰动处理， 得到所述人体图像样本， 其中， 所述预设扰动 处理包括以下至少一项： 缩放、 旋转、 反转、 平 移。 11.一种人体重建装置， 所述装置包括： 特征单元， 被配置成将人体图像输入预训练的人体重建模型， 利用所述人体重建模型 的主干网络， 提取 所述人体图像的特 征， 其中， 所述人体重建模型包括两个分支网络； 分支单元， 被配置成基于所述两个分支网络， 分别处理所述特征， 得到关键点定位图和 形态特征图； 融合单元， 被配置成利用所述人体重建模型， 对所述关键点定位图和所述形态特征图 进行融合， 生成蒙皮多人线性SMPL 参数， 其中， 所述SMPL 参数包括姿态参数和形态参数。 12.根据权利要求11所述的装置， 其中， 所述两个分支网络包括第 一分支网络和第 二分 支网络； 所述分支单元， 进一步被配置成按照如下方式执行所述基于所述两个分支网络， 分别 处理所述特 征， 得到关键点定位图和形态特 征图: 通过所述第一分支网络处理所述特征， 以进行关键点定位， 得到指示人体关键点的高 斯热图； 对所述高斯热图进行归一 化， 得到所述关键点定位图。 13.根据权利要求11所述的装置， 其中， 所述融合单元， 进一步被配置成按照如下方式 执行所述利用所述人体重建模型， 对所述关键点定位图和所述形态特征图进行融合， 生成 蒙皮多人线性SMPL 参数： 利用所述人体重建模型， 对所述关键点定位图和所述形态特征图相乘， 得到局部注意 力特征图； 对所述局部注意力特 征图进行回归， 生成SMPL 参数。权　利　要　求　书 2/4 页 3 CN 115147547 A 3