(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210678785.2 (22)申请日 2022.06.15 (71)申请人 中国科学院软件研究所 地址 100190 北京市海淀区中关村南四街 4 号 (72)发明人 吴恩华　康杨雨轩　石剑　 (74)专利代理 机构 北京君尚知识产权代理有限 公司 11200 专利代理师 余长江 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/80(2017.01) G06T 7/13(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于影子的单幅图像三维人体重建方法及 装置 (57)摘要 本发明提供了基于影子的单幅图像三维人 体重建方法及装置， 所述方法包括： 获取含有影 子的图像与生成所述影子的环 境参数； 获取人体 区域， 并提取影子区域与人体区域内的二维关节 点坐标； 基于人体区域图像imgbody， 计算初始姿 态参数与初始体型参数； 基于所述环境参数、 所 述二维关节点坐标Sdetect影子区域与人体区域内 的二维关节点坐标优化所述初始姿态参数与所 述初始体型参数， 得到最优姿态 参数与最优体型 参数； 据所述最优姿态参数θ与最优体型参数 β， 重建三维人体网格模型。 本发明通过影子能 够弥补普通图像内在的深度不确定性 缺陷。 权利要求书3页 说明书9页 附图2页 CN 115115776 A 2022.09.27 CN 115115776 A 1.一种基于影子的单幅图像三维人体重建方法， 所述方法包括： 获取含有影子的图像与生成所述影子的环境 参数； 提取所述图像中影子区域 的局部图像imgshadow， 并基于所述局部图像imgshadow， 计算影 子区域内的二维关节点 坐标Sdetect； 提取所述图像中人体区域的局部图像im gbody， 并基于所述局部图像imgbody， 计算人体区 域内的二维关节点 坐标J2d； 基于所述局部图像imgbody， 计算初始姿态参数θ0与初始体型参数β0； 基于所述环境参数、 所述二维关节点坐标Sdetect、 所述二维关节点坐标J2d优化所述初始 姿态参数θ0与所述初始体型参数β0， 得到最优姿态参数θ与最优体型参数β； 根据所述 最优姿态参数θ与最优体型参数β， 重建三维人体网格模型。 2.如权利要求1所述的方法， 其特征在于， 所述环境参数包括： 相机内参矩阵K， 光照方 向向量 地面法向量 和平移量d； 所述获取生成所述影子的环境 参数， 包括： 将标定棋盘 格拍摄照片后进行算法标定， 获得相机内参矩阵K； 将aruco Marker标定板放在地面上拍摄照片后进行算法标定， 获得地面法向量 和平 移量d； 使用镜面反射球进行 标定， 获得光照方向 向量 3.如权利要求1所述的方法， 其特征在于， 所述提取所述图像中影子区域的局部图像 imgshadow， 并基于所述局部图像imgshadow， 计算影子区域的二维关节点 坐标Sdetect， 包括： 构建影子轮廓检测网络， 所述影子轮廓检测网络采用MTMT卷积神经网络结构， 并使用 在SBU和ISTD数据集上训练后的网络模型参数作为初始化； 将所述图像输入所述影子轮廓检测网络， 得到影子区域的局部图像imgshadow； 构建影子关节点估计网络， 所述影子关节点估计网络采用Stacked  Hourglass卷积神 经网络结构， 并使用在Human3.6 M上合成的影子数据和关节点 坐标的标准 值进行监 督训练； 将所述局部图像imgshadow输入所述影子关节点估计网络， 得到影子区域的二维关节点 坐标Sdetect。 4.如权利要求1所述的方法， 其特征在于， 所述提取所述图像中人体区域的局部图像 imgbody， 并基于所述局部图像ungbody， 计算人体区域内的二维关节点 坐标J2d， 包括： 构建人体包围框检测网络； 将所述图像输入所述人体包围框检测网络， 得到人体区域的局部图像i ngbody； 构建二维人体关节点检测网络； 将所述局部图像ingbody输入所述二维人体关节点检测网络， 得到人体区域内的二维关 节点坐标J2d。 5.如权利要 求1所述的方法， 其特征在于， 所述基于 所述局部图像ingbody， 计算初始姿态 参数θ0与初始体型参数β0， 包括： 构建人体重建网络， 所述人体重建网络采用SPIN网络结构， 并使用在Human3.6M数据集 上训练后的网络模型参数作为骨干网络初始化； 基于环境参数、 二维关节点坐标Sdetect与二维关节点坐标J2d训练人体重建网络， 得到训 练后的人体重建网络； 将所述局部图像ingbody输入训练后的人体重建网络， 得到初始姿态参数θ0与初始体型权　利　要　求　书 1/3 页 2 CN 115115776 A 2参数β0。 6.如权利 要求5所述的方法， 其特征在于， 所述基于环境参数、 二维关节点坐标Sdetect与 二维关节点 坐标J2d训练人体重建网络， 得到训练后的人体重建网络， 包括： 将所述图像中人体区域 的局部图像输入人体重建网络ψτ， 得到姿态参数θτ与体型参数 βτ， τ表示第一迭代次数； 依据姿态参数θτ与体型参数βτ重建三维人体网格模型， 得到重建后人体的三维关节点 坐标 基于所述二维关节点坐标J2d与所述三维关节点坐标 构建重投影匹配关系的约束 条件表达式， 并对所述重投影匹配关系的约束条件表达式进行整理， 得到三维人体相对相 机中心的偏移量t的第一非齐次方程组； 基于所述二维关节点坐标Sdetect与所述三维关节点坐标 构建影子一致性匹配关系 的约束条件表达式， 并对所述影子一致性匹配关系的约束条件表达式进行整理， 得到三维 人体相对相机中心的偏移量t的第二非齐次方程组； 将所述第一非齐次方程组与所述第二非齐次方程组并列后， 使用最小二乘求解， 得到 三维人体相对相机中心的偏移量t； 结合所述偏移量t与所述环境 参数， 将所述 三维关节点 坐标 投影到影子区域， 得到 影 子区域内的三维关节点坐标 并计算所述二维关节点坐标Sdetect与所述三维关节点坐标 之间的影子一 致性损失函数； 计算所述 二维关节点 坐标J2d与所述三维关节点 坐标 之间的重投影损失函数； 基于影子一致性损失函数与重投影损失函数， 对人体重建网络 ψτ进行训练， 得到 人体重 建网络 ψτ +1； 直至第一迭代轮数完成， 得到训练后的人体重建网络 。 7.如权利要求1所述的方法， 其特征在于， 所述基于所述环境参数、 所述二维关节点坐 标Sdetect、 所述二维关节点坐标J2d优化所述初始姿态参数θ0与所述初始体型参数β0， 得到最 优姿态参数θ与最优体型参数β， 包括： 依据姿态参数θc与体型参数βc重建三维人体网格模型， 得到重建后人体的三维关节点 坐标 其中， c为第二迭代轮次； 基于所述二维关节点坐标J2d与所述三维关节点坐标 构建重投影匹配关系的约束 条件表达式， 并对所述重投影匹配关系的约束条件表达式进行整理， 得到三维人体相对相 机中心的偏移量t的第一非齐次方程组； 基于所述二维关节点坐标Sdetect与所述三维关节点坐标 构建影子一致性匹配关系 的约束条件表达式， 并对所述影子一致性匹配关系的约束条件表达式进行整理， 得到三维 人体相对相机中心的偏移量t的第二非齐次方程组； 将所述第一非齐次方程组与所述第二非齐次方程组并列后， 使用最小二乘求解， 得到 三维人体相对相机中心的偏移量t；权　利　要　求　书 2/3 页 3 CN 115115776 A 3