(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210681696.3 (22)申请日 2022.06.15 (71)申请人 北京奇艺世纪科技有限公司 地址 100080 北京市海淀区北一 街2号鸿城 拓展大厦10、 1 1层 (72)发明人 李天琦　 (74)专利代理 机构 北京华夏泰和知识产权代理 有限公司 1 1662 专利代理师 张娜 (51)Int.Cl. G06V 10/82(2022.01) G06V 40/16(2022.01) G06T 17/00(2006.01) (54)发明名称 模型训练方法、 3D人脸的重建方法、 装置及 存储介质 (57)摘要 本申请涉及一种模 型训练方法、 3D人脸的重 建方法、 装置及存储介质， 该方法由于通过神经 网络模型预测二维人脸图像样 本的三维表达， 并 基于三维表达对应的第二表达和第一表达计算 训练损失， 采用训练损失对神经网络模型进行训 练直至收敛， 所以当需要对二维人脸图像进行三 维重建时， 可以采用收敛的神经网络模型得到二 维人脸图像的三维人脸重建， 从而做到即使不引 入PCA基底， 借助该映射关系， 也能保证神经网络 在三维图像 重建上优势的发挥。 权利要求书3页 说明书10页 附图4页 CN 115035382 A 2022.09.09 CN 115035382 A 1.一种模型训练方法， 其特 征在于， 包括： 获取第N次执 行模型训练方法所用到的二维人脸图像样本； 采用神经网络模型中的编码器预测得到所述二维人脸图像样本在二维空间的第一表 达； 通过所述神经网络模型中的解码器转换所述第 一表达， 得到所述二维人脸图像样本在 三维空间的三维表达； 将所述三维表达由所述三维空间投影到所述二维空间， 得到所述二维人脸图像在所述 二维空间的第二表达； 利用所述第二表达和所述 二维人脸图像样本， 计算训练损失； 利用所述训练损失优化所述神经网络模型的参数， 更新N＝N+1， 并执行第N+1次模型训 练方法， 直至所述神经网络模型收敛。 2.根据权利要求1所述的方法， 其特征在于， 所述编码器包括身份编码器， 所述解码器 包括身份解码器； 采用神经网络模型中的编码器预测得到所述二维人脸图像样本在二维空间的第一表 达， 包括： 采用所述身份编码器对所述二维人脸图像样本进行编码， 获得所述二维人脸图像样本 的身份特 征； 基于所述身份特 征得到所述第一表达； 通过所述神经网络模型中的解码器转换所述第 一表达， 得到所述二维人脸图像样本在 三维空间的三维表达， 包括： 采用所述身份解码器对所述身份特征进行解码， 得到所述身份特征在所述三维空间的 身份三维表达； 基于所述身份三维表达， 得到所述 二维人脸图像样本在三维空间的三维表达 。 3.根据权利要求2所述的方法， 其特征在于， 所述编码器还包括第一编码器， 所述解码 器还包括特征解码器； 所述第一编码器为表情编码器或姿态编码器； 当所述第一编码器为 所述表情编码 器时， 所述特征解码 器为表情解码 器， 当所述特征解码 器为姿态编 码器时， 所 述特征解码器为姿态解码器； 基于所述身份特 征得到所述第一表达， 包括： 采用所述第 一编码器对所述二维人脸图像样本进行编码， 获得所述二维人脸图像样本 的第一特征； 所述第一编 码器为所述表情编 码器时， 所述第一特征为表情特征， 所述第一编 码器为所述姿态编码器时， 所述第一特 征为姿态特 征； 基于所述第一特 征和所述身份特 征， 得到所述第一表达； 基于所述身份三维表达， 得到所述 二维人脸图像样本在三维空间的三维表达， 包括： 采用所述特征解码器对所述第 一特征和所述身份三维表达进行解码， 得到 中间三维表 达； 基于所述中间三维表达， 得到所述 二维人脸图像样本在三维空间的三维表达 。 4.根据权利要求3所述的方法， 其特征在于， 所述编码器还包括第二编码器， 所述第二 编码器为表情编码器或姿态编 码器， 所述第二编码器与所述第一编 码器为不同类型的编码 器；权　利　要　求　书 1/3 页 2 CN 115035382 A 2基于所述第一特 征和所述身份特 征， 得到所述第一表达， 包括： 采用所述第 二编码器对所述二维人脸图像样本进行编码， 得到所述二维人脸图像样本 的第二特征； 所述第二编 码器为所述表情编 码器时， 所述第二特征为表情特征， 所述第二编 码器为所述姿态编码器时， 所述第二特征为姿态特征； 所述第一特征和所述第二特征为不 同类型的特 征； 将所述身份特 征、 所述第一特 征和所述第二特 征作为所述第一表达； 基于所述中间三维表达， 得到所述 二维人脸图像样本在三维空间的三维表达， 包括： 采用姿态变换函数对所述中间三维表达和所述第 二特征进行处理， 得到所述二维人脸 图像样本在三维空间的三维表达； 所述姿态变换函数用于按照所述第二特征， 对所述中间三维表达进行旋转、 平移或缩 放处理。 5.根据权利要求1所述的方法， 其特征在于， 利用所述第 二表达和所述二维人脸图像样 本， 计算训练损失， 包括： 获取所述二维人脸图像样本中的人脸关键点的像素坐标值、 以及人脸各个区域的图 像； 从所述第二表达中获取 人脸关键点的预测像素坐标、 以及人脸各个区域的预测图像； 基于所述人脸关键点的像素坐标值和所述预测像素坐标值， 计算第一类训练损 失； 以 及基于所述人脸各个区域的图像和所述预测图像， 计算第二类训练损失； 基于所述第一类训练损失和所述第二类训练损失， 计算总的训练损失； 将所述总的训练损失作为所述训练损失。 6.一种3D人脸的重建方法， 其特 征在于， 包括： 获取二维人脸图像； 采用经由权利要求1训练得到神经网络模型中的编码器， 预测得到所述二维人脸图像 在二维空间的第一表达； 通过所述神经网络模型中的解码器转换所述第 一表达， 得到所述二维人脸图像在三维 空间的三维表达； 生成与所述 三维表达对应的三维人脸图像。 7.一种模型训练装置， 其特 征在于， 包括： 第一获取模块， 用于获取第N次执 行模型训练方法所用到的二维人脸图像样本； 第一预测模块， 用于采用神经网络模型中的编码器预测得到所述二维人脸图像样本在 二维空间的第一表达； 第一转换模块， 用于通过所述神经网络模型中的解码器转换所述第一表达， 得到所述 二维人脸图像样本在三维空间的三维表达； 投影模块， 用于将所述三维表达由所述三维空间投影到所述二维空间， 得到所述二维 人脸图像在所述 二维空间的第二表达； 计算模块， 用于利用所述第二表达和所述 二维人脸图像样本， 计算训练损失； 更新模块， 用于利用所述训练损失优化所述神经网络模型的参数， 更新N＝N+1， 并执行 第N+1次模型训练方法， 直至所述神经网络模型收敛。 8.一种3D人脸的重建装置， 其特 征在于， 包括： 第二获取模块， 用于获取二维人脸图像；权　利　要　求　书 2/3 页 3 CN 115035382 A 3