(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221075769 9.0 (22)申请日 2022.06.29 (71)申请人 聚好看科技股份有限公司 地址 266100 山东省青岛市崂山区松岭路 399号 申请人 清华大学　 海信视像科技股份有限公司 (72)发明人 刘彭鹏　刘烨斌　陈春朋　刘元伟　 王宝云　于芝涛　吴连朋　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 望紫薇 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/73(2017.01)G06T 7/80(2017.01) G06T 15/00(2011.01) (54)发明名称 基于多视角RGBD相机的三维重建方法及系 统 (57)摘要 本申请涉及三 维重建技术领域， 提供一种基 于多视角RGBD相机的三维重建方法及系统， 通过 基于隐式表达的三维重建和可微渲染技术， 构建 一个端到端的自监督优化网格， 用于提高多个 RGBD相机间相对位姿的准确性。 在该网络中， 根 据多个RGBD相机采集的 图像对， 采用基于隐式表 达的三维重建方法重建几何模型， 从而充分挖掘 和利用不可见区域的几何先验信息， 即便图像对 之间重叠区域较小甚至没有重叠区域时， 利用几 何模型中的采样点对依然能够确定出相对位姿， 并根据几何模 型可微渲染的结果， 对初始相对位 姿进行全局优化， 得到准确的目标相对位姿， 这 样， 在根据目标相对位姿进行三维重建时， 能够 提高三维模型的重建质量。 权利要求书3页 说明书14页 附图9页 CN 115115780 A 2022.09.27 CN 115115780 A 1.一种基于多视角RGBD相机的三维重建方法， 其特 征在于， 包括： 根据至少两个RGBD相机各自采集的图像对， 采用基于隐式表达的三维重建方法， 分别 重建单视角几何模型， 所述图像对 包括一张深度图像和一张RGB图像； 对所述至少两个RGBD中每两个RGBD相机各自对应的单视角几何模型进行采样， 得到多 组采样点对； 根据所述多组采样点对， 确定所述两个RGBD相机间的初始相对位姿； 根据所述至少两个RGBD相机采集的多个图像对， 对每两个RGBD相机 间的初始相对位姿 进行全局优化， 得到目标相对位姿； 根据每两个RGBD相机 间的目标相对位姿， 对所述至少两个RGBD相机采集的目标图像对 进行三维重建。 2.如权利要求1所述的方法， 其特征在于， 所述根据所述至少两个RGBD相机采集的多个 图像对， 对每两个RGBD相机间的初始相对位姿 进行全局优化， 得到目标相对位姿， 包括： 根据所述至少两个RGBD相机采集的多个图像对， 以及每两个RGBD相机 间的初始相对位 姿， 采用基于隐式表达的三维重建方法， 重建多视角几何模型； 对所述多视角几何模型和每个单视角几何模型进行可微渲染， 确定所述多视角几何模 型的损失值； 通过至少一轮迭代减小所述损失值以优化每两个RGBD相机间的初始相对位姿， 直到所 述损失值满足阈值要求， 得到优化后的目标相对位姿。 3.如权利要求2所述的方法， 其特征在于， 所述对所述多视角几何模型和每个单视角几 何模型进行 可微渲染， 确定所述多视角几何模型的损失值， 包括： 针对每个图像对重建的单视角几何模型进行可微渲染， 确定所述单视角几何模型的参 考法向图和参考掩码图， 以及， 针对所述多视角几何模型进 行可微渲染， 确定所述多视角几 何模型的法向图和掩码图； 根据所述多视角几何模型对应的法向图和掩码图， 以及每个单视角几何模型对应的参 考法向图和参 考掩码图， 分别确定二维语义子损失值； 根据重建过程中所述多视角几何模型的空间场， 以及每个单视角几何模型的参考空间 场， 分别确定三维空间场子损失值； 根据各个二维语义子损 失值、 各个三维空间场子损 失值和各个正交约束项， 确定所述 多视角几何模型的损失值。 4.如权利要求3所述的方法， 其特征在于， 用于计算所述多视角几何模型的损失值的能 量损失函数为： 其中， N表示所述至少两个RGBD相机中每两个RGBD相机组合的总 个数， Tn表示优化前两 个RGBD相机间的相对位姿， Loss表示所述多视角几何模型的损失值， L2D(·)表示二维语义 子损失值， Lsdf(·)表示三维空间场子损失值， Lorth(·)表示正交约束项， αi1、 αi2、 αi3表示权 重。 5.如权利要求4所述的方法， 其特征在于， 所述二维语义子损失值L2D(Ti)的计算公式 为：权　利　要　求　书 1/3 页 2 CN 115115780 A 2所述三维空间场子损失值 Lsdf(Ti)的计算公式为： 所述正交约束 项Lorth(Ti)的计算公式为： 其中， b1和b2表示权重， n表示所述多视角几何模型对应的法向图， 表示利用第i个图 像对重建的单视角几何模型对应的参考法向图， m表示所述多视角几何模型对应的掩码图， 表示利用第i个图像对重建的单视角几何模型对应的参考掩码图， dist表示距离变换， sdf表示所述多视角几何模型对应的空间场， 表示利用第i个图像对重建的单视角几何 模型对应的参 考空间场， Rn表示相对位姿 Ti中的旋转矩阵， I表示单位矩阵。 6.一种三维重建系统， 其特征在于， 包括至少两个RGBD相机和一个电子设备， 每个RGBD 相机位于不同的视角： 所述至少两个RGBD相机用于采集 图像对， 所述 图像对包括一张深度图像和一张RGB图 像； 所述电子设备包括处理器、 存储器、 显示屏和通信接口， 所述通信接口、 所述显示屏、 所 述存储器和所述处理器通过总线连接， 所述存储器包括数据存储单元和 程序存储单元， 所 述处理器根据所述 程序存储单元存储的计算机程序， 执 行以下操作： 通过所述通信接口， 接收所述至少两个RGBD相机发送的图像对， 并存储于所述数据存 储单元； 根据每个RGBD相机发送的图像对， 采用基于隐式表达的三维重建方法， 分别重建单视 角几何模型； 对每两个RGBD相机各自对应的单视角几何模型进行采样， 得到多组采样点对； 根据所述多组采样点对， 确定所述两个RGBD相机间的初始相对位姿； 根据所述数据存储单元存储的多个图像对， 对每两个RGBD相机间的初始相对位姿进行 全局优化， 得到目标相对位姿； 通过所述通信接口， 接收所述至少两个RGBD相机发送的目标图像对， 根据每两个RGBD 相机间的目标相对位姿和至少两个目标图像对进 行三维重建， 并将重 建的三维模型通过所 述显示屏进行显示。 7.如权利要求6所述的系统， 其特征在于， 所述处电子设备根据 所述数据存储单元存储 的多个图像对， 对每两个RGBD相机间的初始相对位姿进 行全局优化， 得到目标相对位姿， 具 体操作为： 根据所述多个图像对以及每两个RGBD相机间的初始相对位姿， 采用基于隐式表达的三 维重建方法， 重建多视角几何模型； 对所述多视角几何模型和每个单视角几何模型进行可微渲染， 确定所述多视角几何模 型的损失值； 通过至少一轮迭代减小所述损失值以优化每两个RGBD相机间的初始相对位姿， 直到所 述损失值满足阈值要求， 得到优化后的目标相对位姿。 8.如权利要求7所述的系统， 其特征在于， 所述电子设备对所述多视角几何模型和每个权　利　要　求　书 2/3 页 3 CN 115115780 A 3