(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210691235.4 (22)申请日 2022.06.17 (71)申请人 北京旷视科技有限公司 地址 100096 北京市海淀区西三 旗建材城 内建中路12幢一层1268号 (72)发明人 刘旭东　莫原野　孙宇超　金宇林　 (74)专利代理 机构 北京睿邦知识产权代理事务 所(普通合伙) 11481 专利代理师 徐丁峰　张玮 (51)Int.Cl. G06T 17/00(2006.01) G06T 5/50(2006.01) G06T 3/00(2006.01) G06V 10/46(2022.01) G06T 15/04(2011.01)G06T 19/20(2011.01) G06T 7/11(2017.01) (54)发明名称 三维人脸重建方法、 电子设备、 存储介质及 程序产品 (57)摘要 本申请实施例提供一种三维人脸重建方法、 电子设备、 存储介质以及计算机程序产品。 方法 包括： 将待重建的目标人脸图像进行三维重建， 以获得初始三维头模、 初始纹理底图和模板人脸 图像； 分别对模板人脸图像和目标人脸图像执行 关键点检测， 以获得与模板人脸图像对应的模板 关键点组和与 目标人脸图像对应的目标关键点 组； 依据目标关键点组和模板关键点组中的关键 点间的对应关系， 将目标人脸图像执行与模板人 脸图像的对齐操作， 以获得对齐后的目标人脸图 像； 将对齐后的目标人脸图像与初始纹理底图进 行融合， 以得到融合后的纹理底图； 将融合后的 纹理底图贴合至初始三维头模， 以获得纹理贴合 后的三维人脸图像。 重建的三维人脸图像纹理更 逼真， 贴合更准确。 权利要求书3页 说明书18页 附图5页 CN 115375832 A 2022.11.22 CN 115375832 A 1.一种三维人脸的重建方法， 包括： 将待重建的目标人脸图像进行三维重建， 以获得初始三维头模、 初始纹理底图和模板 人脸图像， 其中， 所述模板人脸图像是初始三 维人脸图像的二维投影图， 所述初始 三维人脸 图像是所述初始纹 理底图贴合到所述初始三维头模所获得的； 分别对所述模板人脸图像和所述目标人脸图像执行关键点检测， 以获得与 所述模板人 脸图像对应的模板关键点组和与所述目标 人脸图像对应的目标关键点组； 依据所述目标关键点组和所述模板关键点组中的关键点之间的对应关系， 将所述目标 人脸图像执行与所述模板人脸图像的对齐操作， 以获得对齐后的目标人脸图像， 其中， 所述 对齐后的目标 人脸图像中的关键点组与所述模板关键点组中的对应关键点的位置相同； 将所述对齐后的目标人脸图像与 所述初始 纹理底图进行融合， 以得到融合后的纹理底 图； 将所述融合后的纹理底图贴合至所述初始三维头模， 以获得纹理贴合后的三维人脸图 像。 2.根据权利要求1所述的方法， 其中， 所述将所述对齐后的目标人脸图像与 所述初始 纹 理底图进行融合， 以得到融合后的纹 理底图， 包括： 提取所述对齐后的目标 人脸图像的纹 理， 以获得目标纹 理底图； 将所述目标纹 理底图和所述初始纹 理底图进行融合， 以得到所述融合后的纹 理底图。 3.根据权利要求2所述的方法， 其中， 所述将所述目标纹理底图和所述初始 纹理底图进 行融合， 以得到所述融合后的纹 理底图， 包括： 根据人脸掩码图中各个像素的像素值将所述目标纹理底图和所述初始纹理底图进行 融合， 以得到所述融合后的纹 理底图， 其中， 所述人脸掩码图中各个像素的像素值用于确定所述目标纹理底图和所述初始 纹 理底图中对应像素的融合权重， 所述人脸掩码图包括人脸区域、 过渡区域和其他区域， 所述 过渡区域中的像素与所述人脸区域的轮廓的距离小于距离阈值， 不同区域的像素值 不同。 4.根据权利要求1至3任一项所述的方法， 其中， 在所述将所述融合后的纹理底图贴合 至所述初始三维头模， 以获得纹 理贴合后的三维人脸图像之后， 所述方法还 包括： 根据所述目标关键点组和所述模板关键点组中与至少一个人脸特定部位所对应的关 键点的位置对应关系， 对所述纹理贴合后的三维人脸图像中的所述至少一个人脸特定部位 进行形状矫正， 以获取重建后的三维人脸图像。 5.根据权利要求4所述的方法， 其中， 所述根据所述目标关键点组和所述模板关键点组 中与至少一个人脸特定部位所对应的关键点的位置对应关系， 对所述纹理贴合后的三维人 脸图像中的所述至少一个人脸特定部位进行形状矫正， 以获取重建后的三维人脸图像， 包 括： 对于所述至少一个人脸特定 部位中的每 个人脸特定 部位， 确定所述目标关键点组中的、 与该人脸特定部位所对应的至少一个目标关键点对， 并 且基于所述目标关键点组与所述模板关键点组中的关键点之间的对应关系确定所述模板 关键点组中的至少一个模板关键点对， 其中， 所述关键点对用于表示该人脸特定部位的形 态特征； 对于每个目标关键点对以及与该目标关键点对 对应的模板关键点对，权　利　要　求　书 1/3 页 2 CN 115375832 A 2计算该目标关键点对之间的第一距离， 以及计算该模板关键点对之间的第二距离； 计算所述第一距离与所述第二距离的比值； 根据所述比值对所述纹理贴合后的三维人脸图像中的该人脸特定部位进行缩放调 整， 以获得所述重建后的三维人脸图像。 6.根据权利要求5所述的方法， 其中， 所述根据所述比值对所述纹理贴合后的三维人脸 图像中的该 人脸特定 部位进行缩放调整， 包括： 对于该目标关键点对中的每个关键点， 基于所述纹理贴合后的三维人脸图像中该人脸 特定部位的特定控制点， 确定所述纹理贴合后的三维人脸图像中的与所述人脸特定部位的 形态特征相关的形变区域， 其中， 所述特定控制点与该关键点相对应并且位于该人脸特定 部位的边 缘上； 以及 根据所述比值对所述形变区域进行缩放调整， 以获得 所述重建后的三维人脸图像。 7.根据权利要求6所述的方法， 其中， 所述根据所述 比值对所述形变区域进行缩放调 整， 以获得 所述重建后的三维人脸图像， 包括： 对于所述形变区域中的每 个三维顶点， 确定该三维顶点到所述特定控制点之间的第三距离； 根据所述第三距离和所述比值确定该三维顶点的位移， 其中， 所述第 三距离越小， 所述 位移越大； 根据所述 位移移动该三维顶点， 以对所述形变区域进行缩放调整。 8.根据权利要求1至7任一项所述的方法， 其中， 所述分别对所述模板人脸图像和所述 目标人脸图像执行关键点检测， 以获得与所述模板人脸图像对应的模板关键点组和与所述 目标人脸图像对应的目标关键点组， 包括： 分别提取 所述模板人脸图像和所述目标 人脸图像中的人脸关键点； 分别确定与所述模板人脸图像对应的模板边界关键点和与所述目标人脸图像对应的 目标边界关键点， 其中， 所述模板关键点组中包括所述模板边界关键点和所述模板人脸图像中的人脸关 键点， 所述 目标关键点组包括所述 目标边界关键点和所述 目标人脸图像中的人脸关键点， 所述模板边界关键点和所述目标边界关键点中的边界关键点的个数相同。 9.根据权利要求1至8任一项所述的方法， 其中， 所述依据所述目标关键点组和所述模 板关键点组中的关键点之 间的对应关系， 将所述目标人脸图像执行与所述模板人脸图像的 对齐操作， 以获得对齐后的目标 人脸图像， 包括： 基于同样的区域分割方法， 根据所述目标关键点组对所述目标人脸图像进行区域分 割， 以获得多个目标人脸分块区域， 以及， 根据所述模板 关键点组对 所述模板人脸图像进 行 区域分割， 以获得多个模板人脸分块区域； 依据所述目标人脸分块 区域与所述模板人脸分块 区域的对应关系， 将每个目标人脸分 块区域映射至对应的模板人脸分块区域中， 以获得 所述对齐后的目标 人脸图像。 10.根据权利要求1至9任一项所述的方法， 其中， 在所述将待重建的目标人脸图像进行 三维重建， 以获得初始三维头模、 初始纹 理底图和模板人脸图像之前， 所述方法还 包括： 对所述待重建的目标人脸图像执行人脸对齐操作和/或裁剪操作， 以调整所述待重建 的目标人脸图像中的目标 人脸的位置 。权　利　要　求　书 2/3 页 3 CN 115375832 A 3