(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210704281.3 (22)申请日 2022.06.21 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 张举勇　蔡泓锐　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 鄢功军 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/33(2017.01) (54)发明名称 基于RGB-D序列的三维动态重建方法、 训练 装置及电子设备 (57)摘要 本发明公开了一种基于RGB ‑D序列的三维动 态重建方法， 包括： 将待重建对象输入到参数优 化后的三维动态重建模型中， 得到待重建对象 的 几何重建模 型和颜色重建模型。 本发 明还公开了 基于RGB‑D序列的三维动态重建训练装置。 本发 明同时还公开了适用于基于RGB ‑D序列的三维动 态重建方法的电子设备以及存 储介质。 权利要求书3页 说明书10页 附图4页 CN 115018989 A 2022.09.06 CN 115018989 A 1.一种基于RGB ‑D序列的三维动态重建方法， 包括： 将待重建对象输入到参数优化后的三维动态重建模型中， 得到所述待重建对象的几何 重建模型和颜色重建模型， 其中， 所述参数优化后的三维动态重建模型通过下述方法训练 得到： 随机初始化三维动态重建模型， 其中， 所述三维动态重建模型包括双射映射网络、 拓扑 感知网络和隐式基准空间； 获取深度相机的视线方向以及目标训练对象上采样点的法 向量， 并通过所述深度相机 获取训练对象的RGB信息和深度信息； 将通过所述深度相机采集得到的RGB ‑D序列信息进行预处理， 得到所述训练对象的掩 码信息； 将所述掩码信 息与所述三维动态重建模型的形变编码进行张量运算， 得到张量运算结 果； 利用所述双射映射网络和所述拓扑感知网络将所述张量运算结果映射到所述 隐式基 准空间中， 得到映射结果； 利用所述 隐式基准空间处理所述映射结果， 并利用符号距离函数渲染处理结果， 得到 所述训练对象的预测的掩码信息和所述训练对象的预测的深度信息； 将所述视线方向、 所述三维动态重建模型的外观编码和所述映射结果进行复合运算， 并利用神经辐射场对复合 运算的结果进行渲染， 得到所述训练对象的预测的RGB信息； 将所述视线方向、 所述法向量、 所述掩码信息、 所述RGB信息、 所述深度信息、 所述预测 的掩码信息、 所述预测的RGB信息以及所述预测的深度信息输入到损失函数中， 得到损失 值， 并根据损失值优化所述 三维动态重建模型的参数； 迭代进行获取操作、 预处理操作、 张量运算操作、 映射操作、 渲染操作以及优化操作， 直 到所述损失值满足预设条件， 得到参数优化后的三维动态重建模型。 2.根据权利要求1所述的方法， 其中， 所述利用所述双射映射网络和所述拓扑感知网络 将所述张量 运算结果映射到所述隐式基准空间中， 得到映射结果包括： 利用所述双射映射网络的坐标变换模块对所述张量运算结果进行坐标变换， 得到变换 结果， 其中， 所述双射映射网络的坐标变换模块的数量与所述张量运算结果的维度相同， 每 个所述双射映射网络的坐标变换模块用于对所述张量 运算结果进行一次坐标变换； 利用所述拓扑感知网络将所述变换 结果映射到隐式基准空间中， 得到映射结果。 3.根据权利要求2所述的方法， 其中， 所述利用所述双射映射网络的坐标变换模块对所 述张量运算结果进行坐标变换， 得到变换 结果包括： 随机选择所述张量运算结果中的一个坐标轴作为变换基准轴， 并利用所述坐标变换模 块对所述变换基准轴上的张量 值进行平 移， 得到平 移结果； 根据所述平移结果， 利用所述坐标变换模块对所述张量运算结果中的其他坐标轴 进行 平移和进行绕所述变换基准轴旋转， 得到一次变换 结果； 迭代进行平移操作和旋转操作， 直到所有所述坐标变换模块完成对所述张量运算结果 的坐标变换， 得到变换 结果。 4.根据权利要求2 ‑3任一所述的方法， 其中， 每 个所述变换 结果连续可微且周期相同。 5.根据权利要求1所述的方法， 其中， 所述损失函数包括自由空间损失函数和表面上的权　利　要　求　书 1/3 页 2 CN 115018989 A 2损失函数。 6.根据权利要求5所述的方法， 其中， 所述自由空间损失函数包括RGB监督损失函数、 深 度图监督损失函数、 掩码图监 督损失函数和正则项损失函数； 其中， 所述RGB监 督损失函数由公式(1)确定： 所述深度图监 督损失函数由公式(2)确定： 所述掩码图监 督损失函数由公式(3)确定： 所述正则项损失函数由公式(4)确定： 其中， 表示RGB相机的内参矩阵， 表示深度相机的内参矩阵， 为相机运 动的外参矩阵， 表示采样射线集合， C(r)表示观测的RGB信息， D(r)表示观测的深度信息， M(r)表示观测的掩码信息， 表示预测的RGB信息， 表示预测的深度信息， 表 示预测的掩码信息， BC E为交叉熵函数， 为采样点 集合。 7.根据权利要求5所述的方法， 其中， 所述表面上的损失函数包括SDF损失函数和可见 性损失函数； 其中， 所述S DF损失函数由公式(5)确定： 所述可见性损失函数由公式(6)确定： 其中， np表示法向， vp表示视线方向， pi表示， d(x)表示， 表示。 8.一种基于RGB ‑D序列的三维动态重建训练装置， 包括： 初始化模块， 用于随机初始化三维动态重建模型， 其中， 所述三维动态重建模型包括双 射映射网络、 拓扑感知网络和隐式基准空间； 获取模块， 用于获取深度相机的视线方向以及目标训练对象上采样点的法向量， 并通 过所述深度相机获取训练对象的RGB信息和深度信息； 预处理模块， 用于将通过所述深度相机采集得到的RGB ‑D序列信息进行预处理， 得到所 述训练对象的掩码信息； 张量运算模块， 用于将所述掩码信 息与所述三维动态重建模型的形变编码进行张量运 算， 得到张量 运算结果； 映射模块， 用于利用所述双射映射网络和所述拓扑感知网络将所述张量运算结果映射 到所述隐式基准空间中， 得到映射结果；权　利　要　求　书 2/3 页 3 CN 115018989 A 3