(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210721518.9 (22)申请日 2022.06.24 (65)同一申请的已公布的文献号 申请公布号 CN 114792359 A (43)申请公布日 2022.07.26 (73)专利权人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 李杰　张岩　陈睿智　赵晨　 滕禹桥　丁二锐　吴甜　王海峰　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 马迪 (51)Int.Cl. G06T 17/00(2006.01)G06T 19/20(2011.01) G06T 15/20(2011.01) G06K 9/62(2022.01) (56)对比文件 CN 112581593 A,2021.0 3.30 CN 111428536 A,2020.07.17 CN 114049420 A,202 2.02.15 CN 112950775 A,2021.0 6.11 CN 114445546 A,202 2.05.06 WO 2021151380 A1,2021.08.0 5 审查员 卢济敏 (54)发明名称 渲染网络训练和虚拟对象渲染方法、 装置、 设备及介质 (57)摘要 本公开提供了一种渲染网络训练和虚拟对 象渲染方法、 装置、 设备及介质， 涉及人工智能技 术领域， 具体涉及增强现实、 虚拟现实、 计算机视 觉和深度学习等技术领域。 具体实现方案为： 获 取样本白模贴图和所述样本白模贴图对应的样 本高精贴图； 将所述样本白模贴图输入至渲染网 络， 得到所述样本 白模贴图的预测高精贴图； 根 据所述预测高精贴图和所述样 本高精贴图， 确定 训练损失； 采用所述训练损失， 对所述渲染网络 进行训练。 根据本公开的技术， 能够在部署有渲 染网络的移动端实现虚拟对象的超 写实渲染。 权利要求书3页 说明书12页 附图6页 CN 114792359 B 2022.10.11 CN 114792359 B 1.一种渲染网络训练方法， 包括： 对于任一样本虚拟对象的任一组成部分， 对所述组成部分对应的三维模型进行白模渲 染， 得到三维白模； 将所述三维白模输入至可微分渲染器， 得到三维白模中点的颜色值， 进 而基于所述三维模型与 纹理坐标贴图之间的映射关系， 根据三维白模中点的颜色值， 得到 三维白模的白模贴图， 作为样本白模贴图； 对所述组成部分对应的三维模型进行高精渲染， 得到三维高精模型； 将所述三维高精 模型输入至可微分渲染器， 得到三维高精模型中点的颜色值， 进而基于三维模型与 纹理坐 标贴图之 间的映射关系， 根据三维 高精模型中点的颜色值， 得到三 维高精模型的高精贴图， 作为样本高精贴图； 将所述样本白模贴图输入至渲染网络， 得到所述样本白模贴图的预测高精贴图； 其中， 所述渲染网络是用于 部署在移动端， 根据白模贴图确定高精贴图任务的网络； 根据所述预测高精贴图和所述样本高精贴图， 确定训练损失； 采用所述训练损失， 对所述 渲染网络进行训练。 2.根据权利要求1所述的方法， 其中， 所述根据所述预测高精贴图和所述样本高精贴 图， 确定训练损失， 包括： 基于对抗网络、 特征网络和范数损 失函数中的至少一种， 根据所述预测高精贴图和所 述样本高精贴图， 确定训练损失。 3.根据权利要求2所述的方法， 其中， 基于对抗网络， 根据所述预测高精贴图和所述样 本高精贴图， 确定训练损失， 包括： 基于对抗网络， 根据所述预测高精贴图， 确定对抗预测结果； 根据所述样本高精贴图， 确定对抗 监督数据； 根据所述对抗预测结果和所述对抗 监督数据， 确定第一损失； 根据所述第一损失， 确定训练损失。 4.根据权利要求3所述的方法， 其中， 所述基于对抗网络， 根据 所述预测高精贴图， 确定 对抗预测结果， 包括： 对所述预测高精贴图添加干扰特 征， 得到干扰高精贴图； 将所述干扰高精贴图输入至对抗网络， 得到对抗预测结果。 5.根据权利要求2所述的方法， 其中， 基于特征网络， 根据所述预测高精贴图和所述样 本高精贴图， 确定训练损失， 包括： 将所述预测高精贴图和所述样本高精贴图， 分别输入所述特征网络， 得到所述预测高 精贴图的第一特 征表示， 以及所述样本高精贴图的第二特 征表示； 根据所述第一特 征表示和所述第二特 征表示， 确定第二损失； 根据所述第二损失， 确定训练损失。 6.根据权利要求2或3所述的方法， 其中， 所述采用所述训练损失， 对所述渲染网络进行 训练， 包括： 采用所述训练损失， 对所述 渲染网络和所述对抗网络进行 联合训练。 7.一种虚拟对象渲染方法， 应用于移动端， 所述方法包括： 对待渲染虚拟对象的三维模型进行白模渲染， 得到所述 三维模型对应的三维白模； 将所述三维白模输入至可微分渲染器， 得到所述 三维白模中点的颜色值；权　利　要　求　书 1/3 页 2 CN 114792359 B 2基于所述三维模型与纹理坐标贴图之间的映射关系， 根据所述三维白模中点的颜色 值， 生成所述 三维白模的白模贴图； 将所述白模贴图输入至渲染网络， 得到所述白模贴图对应的高精贴图； 其中， 所述渲染 网络通过权利要求1 ‑6中任一所述的渲染网络训练方法训练得到； 在所述三维模型 上显示所述高精贴图， 得到所述待渲染虚拟对象的高精渲染结果。 8.根据权利要求7所述的方法， 其中， 所述对待渲染虚拟对象的三维模型进行白模渲 染， 得到所述 三维模型对应的三维白模， 包括： 根据所述待渲染虚拟对象的组成结构， 对所述待渲染虚拟对象进行区域划分； 分别对各划分区域对应的三维模型进行白模渲染， 得到各划分区域对应的三维模型的 三维白模。 9.一种渲染网络训练装置， 包括： 样本获取模块， 用于对于任一样本虚拟对象的任一组成部分， 对所述组成部分对应的 三维模型进 行白模渲染， 得到三 维白模； 将所述三维白模输入至可微分渲 染器， 得到三 维白 模中点的颜色值， 进而基于所述三维模型与 纹理坐标贴图之间的映射关系， 根据三维白模 中点的颜色值， 得到三维白模的白模贴图， 作为样本白模贴图； 对所述组成部分对应的三维模型进行高精渲染， 得到三维高精模型； 将所述三维高精 模型输入至可微分渲染器， 得到三维高精模型中点的颜色值， 进而基于三维模型与 纹理坐 标贴图之 间的映射关系， 根据三维 高精模型中点的颜色值， 得到三 维高精模型的高精贴图， 作为样本高精贴图； 预测贴图确定模块， 用于将所述样本白模贴图输入至渲染网络， 得到所述样本白模贴 图的预测高精贴图； 其中， 所述渲 染网络是用于部署在移动端， 根据白模贴图确定高精贴图 任务的网络； 训练损失确定模块， 用于根据所述预测高精贴图和所述样本高精贴图， 确定训练损失； 训练模块， 用于采用所述训练损失， 对所述 渲染网络进行训练。 10.根据权利要求9所述的装置， 其中， 所述训练损失确定模块包括： 训练损失确定单元， 用于基于对抗网络、 特征网络和范数损失函数中的至少一种， 根据 所述预测高精贴图和所述样本高精贴图， 确定训练损失。 11.根据权利要求10所述的装置， 其中， 所述训练损失确定单 元包括： 对抗预测结果确定子单元， 用于基于对抗网络， 根据所述预测高精贴图， 确定对抗预测 结果； 对抗监督数据确定 子单元， 用于根据所述样本高精贴图， 确定对抗 监督数据； 第一损失确定子单元， 用于根据所述对抗预测结果和所述对抗监督数据， 确定第一损 失； 训练损失确定 子单元， 用于根据所述第一损失， 确定训练损失。 12.根据权利要求1 1所述的装置， 其中， 所述对抗预测结果确定 子单元具体用于： 对所述预测高精贴图添加干扰特 征， 得到干扰高精贴图； 将所述干扰高精贴图输入至对抗网络， 得到对抗预测结果。 13.根据权利要求10所述的装置， 其中， 所述训练损失确定单 元具体用于： 将所述预测高精贴图和所述样本高精贴图， 分别输入所述特征网络， 得到所述预测高权　利　要　求　书 2/3 页 3 CN 114792359 B 3