(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210675988.6 (22)申请日 2022.06.15 (71)申请人 中国测绘科 学研究院 地址 100036 北京市海淀区莲 花池西路28 号 (72)发明人 刘玉轩　孙钰珊　许彪　艾海滨　 莫凡　王保前　韩晓霞　 (74)专利代理 机构 北京星通盈泰知识产权代理 有限公司 1 1952 专利代理师 李筱 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/46(2022.01) G06V 10/75(2022.01) G06T 7/70(2017.01) (54)发明名称 多视连续光场影像室内场景稠密点云准确 提取方法及系统 (57)摘要 本发明涉及图像处理技术领域， 且公开了多 视连续光场影像室内场景稠密点云准确提取方 法及系统， 本申请针对多视连续光场影像进行整 体三维重建， 且引入分区和关键帧的理念， 设计 从局部到整体的递阶式三维重建框架， 以快速实 现局部精细化重建和整体优化。 同时， 针对同一 分区内光场影像或者不同分区的关键帧， 提出由 稀疏到稠密的三维重建策略， 准确计算光场影像 的位姿， 实现整体三维重建。 权利要求书2页 说明书7页 附图6页 CN 114998522 A 2022.09.02 CN 114998522 A 1.多视连续 光场影像室内场景稠密点云准确提取 方法， 其特 征在于， 包括： 基于光场影 像之间的关联度进行分区处 理， 并输出关键帧影 像； 对每个分区内光场影像进行分区内稠密三维重建， 获取分区内所有光场影像在对应局 部坐标系下的初始位姿； 基于不同分区的关键帧影像进行所有关键帧影像在整体坐标系下的位姿估计， 获取所 有关键帧影 像在整体坐标系下的关键帧影 像位姿； 基于所有关键帧影像在整体坐标系下的关键帧影像位姿， 将所有分区内光场影像在局 部坐标系下的初始位姿调整至整体坐标系下， 实现整体稠密三维重建。 2.根据权利要求1的方法， 其特征在于， 所述基于光场影像之间的关联度进行分区处 理， 并输出关键帧影 像， 包括： 采集光场影像， 取第一张光场影像的坐标系为所有光场影像的整体坐标系， 并确定为 关键帧影 像； 按照光场影像采集顺序， 计算新获取的光场影像与所述第一张光场影像的关联度得 分， 并将所述关联度得分与预设得分阈值进行对比； 若低于预设得分阈值， 则取 所述新获取的光场影 像的前一帧影 像为关键帧影 像； 将两个所述关键帧影 像内的光场影 像设为一个分区； 对于新获取的影 像， 重复执 行分区， 输出 所有关键帧影 像。 3.根据权利要求1的方法， 其特征在于， 所述对每个分区内光场影像进行分区内稠密三 维重建， 获取分区内所有光场影 像在对应局部坐标系下的初始位姿， 包括： 取每个分区的第一张光场影 像所在坐标系为该分区的局部坐标系； 基于每张光场影像提取特征点， 并将光场影像两两进行特征匹配和匹配过滤， 得到不 同光场影 像间的正确匹配； 对分区内的所有光场影像执行光束法平差， 获取到分区内所有光场影像在对应局部坐 标系下的初始位姿； 进一步进行稠密优化， 提高初始位姿估计精度， 完成分区内稠密三维重建， 并输出优化 后的分区内所有光场影 像在局部坐标系下的初始位姿。 4.根据权利要求1的方法， 其特征在于， 所述基于不同分区的关键帧影像进行所有关键 帧影像在整体坐标系下的位姿估计， 获取所有关键帧影像在整体坐标系下的关键帧影像位 姿， 包括； 基于关键帧影像中提取的特征点， 对所有关键帧影像两两进行特征匹配和匹配过滤， 得到不同关键帧影 像间的正确匹配； 基于关键帧影像间的匹配进行光束法平差， 得到所有关键帧影像在整体坐标系下的关 键帧影像位姿； 进一步进行稠密优化， 提高所有关键帧影像位姿的估计精度， 并输出优化后的所有关 键帧影像在整体坐标系下的关键帧影 像位姿。 5.多视连续 光场影像室内场景稠密点云准确提取系统， 其特 征在于， 包括： 分区模块， 用于基于光场影 像之间的关联度进行分区处 理， 并输出关键帧影 像； 初始位姿获取模块， 用于对每个分区内光场影像进行分区内稠密三维重建， 获取分区 内所有光场影 像在对应局部坐标系下的初始位姿；权　利　要　求　书 1/2 页 2 CN 114998522 A 2关键帧影像位姿获取模块， 用于基于不同分区的关键帧影像进行所有关键帧影像在整 体坐标系下的位姿估计， 获取 所有关键帧影 像在整体坐标系下的关键帧影 像位姿； 分区融合模块， 用于基于所有关键帧影像在整体坐标系下的关键帧影像位姿， 将所有 分区内光场影像在局部坐标系下的初始位姿调整至整体坐标系下， 实现整体稠密三维重 建。 6.根据权利要求5所述的系统， 其特 征在于， 所述分区模块， 包括： 首关键帧影像定义子模块， 用于采集光场影像， 取第一张光场影像的坐标系为所有光 场影像的整体坐标系， 并确定为关键帧影 像； 得分对比子模块， 用于按照光场影像采集顺序， 计算新获取的光场影像与所述第一张 光场影像的关联度得分， 并将所述关联度得分与预设得分阈值进行对比； 次关键帧影像定义子模块， 用于若低于预设得分阈值， 则取所述新获取的光场影像的 前一帧影 像为关键帧影 像； 分区定义子模块， 用于将两个所述关键帧影 像内的光场影 像设为一个分区； 重复执行子模块， 用于对于新获取的影 像， 重复执 行分区， 输出 所有关键帧影 像。 7.根据权利要求5所述的系统， 其特 征在于， 所述初始位姿获取模块， 包括： 局部坐标系确定子模块， 用于取每个分区的第 一张光场影像所在坐标系为该分区的局 部坐标系； 局部匹配子模块， 用于基于每张光场影像提取特征点， 并将光场影像两两进行特征匹 配和匹配过 滤， 得到不同光场影 像间的正确匹配； 初始位姿获取子模块， 用于对分区内的所有光场影像执行光束法平差， 获取到分区内 所有光场影 像在对应局部坐标系下的初始位姿； 局部优化子模块， 用于进一步进行稠密优化， 提高初始位姿估计精度， 完成分区内稠密 三维重建， 并输出优化后的分区内所有光场影 像在局部坐标系下的初始位姿。 8.根据权利要求5所述的系统， 其特 征在于， 所述关键帧影 像位姿获取模块， 包括： 整体匹配子模块， 用于基于关键帧影像中提取的特征点， 对所有关键帧影像两两进行 特征匹配和匹配过 滤， 得到不同关键帧影 像间的正确匹配； 关键帧影像位姿获取子模块， 用于基于关键帧影像间的匹配进行光束法平差， 得到所 有关键帧影 像在整体坐标系下的关键帧影 像位姿； 整体优化子模块， 用于进一步进行稠密优化， 提高所有关键帧影像位姿的估计精度， 并 输出优化后的所有关键帧影 像在整体坐标系下的关键帧影 像位姿。权　利　要　求　书 2/2 页 3 CN 114998522 A 3