(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210772649.X (22)申请日 2022.06.30 (71)申请人 北京旷视科技有限公司 地址 100096 北京市海淀区西三 旗建材城 内建中路12幢一层1268号 (72)发明人 刘旭东　莫原野　朱纯博　金宇林　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 唐正瑜 (51)Int.Cl. G06T 15/04(2011.01) G06T 17/00(2006.01) G06T 3/40(2006.01) G06T 3/00(2006.01) (54)发明名称 一种三维人脸重 建方法、 计算机程序产品及 电子设备 (57)摘要 本申请实施例提供一种三维人脸重建方法、 计算机程序产品及电子设备， 方法包括： 基于初 始人脸图像和DECA模型， 得到初始人脸图像所对 应的初始纹理底图、 三维头模以及目标参数； 将 目标纹理底图与目标顶图进行融合处理， 得到人 脸纹理图； 其中， 目标顶图为基于目标参数对初 始人脸图像或者对初始人脸图像进行超分辨率 重建后获得的图像展开得到的二维投影图， 目标 纹理底图为基于初始纹理底 图或者基于初始纹 理底图进行超分辨重建后获得的图像得到的； 将 人脸纹理图贴合至三维头模中， 得到重建后的三 维人脸模型。 其中， 由于目标顶图和/或目标纹理 底图的清晰度较高， 因此提高了重建得到的三维 人脸模型的清晰度以及整体的视 觉效果。 权利要求书2页 说明书20页 附图3页 CN 115272555 A 2022.11.01 CN 115272555 A 1.一种三维人脸重建方法， 其特 征在于， 包括： 基于初始人脸 图像和DECA模型， 得到所述初始人脸图像所对应的初始纹理底图、 三维 头模以及目标参数； 其中， 所述目标参数包括人脸形状参数和相机参数； 将目标纹理底图与目标顶图进行融合处理， 得到人脸纹理图； 其中， 所述目标顶图为基 于所述目标参数对所述初始人脸图像或者对所述初始人脸图像进行超分辨率重建后 获得 的图像展开得到的二 维投影图， 所述目标纹理底图为基于所述初始纹理底图或者基于所述 初始纹理底图进行超分辨重建后获得的图像得到的； 将所述人脸纹 理图贴合至所述 三维头模中， 得到 重建后的三维人脸模型。 2.根据权利要求1所述的三维人脸重建方法， 其特征在于， 通过如下过程生成所述目标 纹理底图： 对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后获得的图像中的目 标区域中的像素点的像素值进 行调整， 得到所述目标 纹理底图； 其中， 所述目标区域基于三 维人脸重建时， 所述初始纹 理底图需要拼接在一 起的区域所确定 。 3.根据权利要求2所述的三维人脸重建方法， 其特征在于， 所述对所述初始 纹理底图或 者所述初始纹理底图进行超分辨率重建后 获得的图像中的目标区域中的像素点的像素值 进行调整， 包括： 获取边缘掩膜； 根据所述边缘掩膜确定所述初始纹理底图或者所述初始纹理底图进行超分辨率重建 后获得的图像中的第一子区域； 其中， 所述目标区域包括第一子区域以及第二子区域， 所述 第一子区域与所述第二子区域关于所述初始纹理底图或者所述初始纹理底图进行超分辨 率重建后获得的图像的中轴线对称； 对所述第一子区域内的像素点的像素值进行调整； 将所述第一子区域内的像素点调整后的像素值对称至所述第二子区域内相应的像素 点。 4.根据权利要求3所述的三维人脸重建方法， 其特征在于， 所述对所述第 一子区域内的 像素点的像素值进行调整， 包括： 针对所述第 一子区域内的每一像素点， 计算该像素点的周围目标区域内像素点的第 一 像素均值， 将所述第一像素值均值作为该像素点的像素值。 5.根据权利要求1 ‑4任一项所述的三维人脸重建方法， 其特征在于， 通过如下过程生成 所述目标纹 理底图： 根据所述目标顶图中像素点的像素值对所述初始纹理底图或者所述初始纹理底图进 行超分辨率重建后获得的图像中各像素点的像素值进行矫正处理， 得到所述目标纹理底 图。 6.根据权利要求5所述的三维人脸重建方法， 其特征在于， 所述根据所述目标顶图中像 素点的像素值对所述初始纹理底图或者所述初始纹理底图进行超分辨率重建后 获得的图 像中各像素点的像素值进行矫 正处理， 包括： 根据所述目标顶图的人脸区域中像素点的像素值和所述初始纹理底图的人脸区域中 像素点的像素值， 确定矫正系 数； 根据所述矫正系 数对所述初始纹理底图中像素点的像素 值进行矫 正处理；权　利　要　求　书 1/2 页 2 CN 115272555 A 2或者， 根据所述目标顶图的人脸区域中像素点的像素值和所述初始纹理底图进行超分辨率 重建后获得的图像的人脸区域中像素点的像素值， 确定矫 正系数； 根据所述矫正系数对所述初始纹理底图进行超分辨率重建后获得的图像中像素点的 像素值进行矫 正处理。 7.根据权利要求6所述的三维人脸重建方法， 其特征在于， 所述根据所述目标顶图的人 脸区域中像素点的像素值和所述初始纹理底图的人脸区域中像素点的像素值， 确定矫正系 数， 包括： 计算所述目标顶图的人脸区域中各像素点的第二像素均值， 以及， 计算所述初始纹理 底图的人脸区域中各像素点的第三像素均值； 将所述第二像素值均值与所述第三像素值均值的比值确定为所述 矫正系数。 8.根据权利要求1 ‑7任一项所述的三维人脸重建方法， 其特征在于， 所述将目标纹理底 图与目标顶图进行融合处 理， 得到人脸纹 理图， 包括： 将所述目标顶图中各像素的像素值与第一融合掩膜中相应位置处像素的像素值相乘 得到第一融合图像， 将所述目标 纹理底图中各像素的像素值与第二融合掩膜中相应位置处 像素的像素值相乘得到第二融合图像； 其中， 所述第二融合掩膜中各像素 的像素值为第一 数值与所述第一融合掩膜中相应位置处像素的像素值的差值； 将所述第一融合图像中各像素点的像素值与所述第二融合图像中相应位置处像素点 的像素值叠加， 得到所述人脸纹 理图。 9.根据权利要求8所述的三维人脸重建方法， 其特征在于， 将所述目标顶图中各像素的 像素值与第一融合掩膜中相应位置处像素的像素值相乘得到第一融合图像， 将所述目标 纹 理底图中各像素的像素值与第二融合掩膜中相 应位置处像素的像素值相乘得到第二融合 图像之前， 所述方法还 包括： 将初始掩膜中像素值为第二数值的区域缩小至目标大小， 得到所述第一融合掩膜； 其 中， 所述初始掩膜中像素值为所述第二数值的区域与所述目标纹理底图中的人脸区域对 应。 10.根据权利要求9所述的三维人脸重建方法， 其特征在于， 在所述将初始掩膜中像素 值为第二数值的区域缩小至目标 大小之后， 所述方法还 包括： 对区域缩小后的初始掩膜中像素值为所述第 二数值的区域的边缘进行高斯模糊， 得到 所述第一融合掩膜。 11.一种计算机程序产品， 其特征在于， 包括计算机程序指令， 所述计算机程序指令被 处理器读取并运行时， 执 行如权利要求1 ‑10中任一项所述的方法。 12.一种电子设备， 其特 征在于， 包括： 处 理器、 存储器和总线； 所述处理器和所述存 储器通过 所述总线完成相互间的通信； 所述存储器存储有可被所述处理器执行的计算机程序指令， 所述处理器调用所述计算 机程序指令能够执 行如权利要求1 ‑10任一项所述的方法。 13.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储计算机程序 指令， 所述计算机程序指令被计算机运行时， 使所述计算机执行如权利要求1 ‑10任一项所 述的方法。权　利　要　求　书 2/2 页 3 CN 115272555 A 3