(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210706410.2 (22)申请日 2022.06.21 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号北京理工大 学 (72)发明人 肖德强　邵龙　艾丹妮　王涌天　 杨健　 (74)专利代理 机构 北京市中 闻律师事务所 11388 专利代理师 冯梦洪 (51)Int.Cl. G06T 19/00(2011.01) G06T 17/00(2006.01) G06T 7/70(2017.01) G06V 40/16(2022.01)G06K 9/62(2022.01) G06F 16/901(2019.01) G06F 16/903(2019.01) G06N 3/00(2006.01) G16H 20/40(2018.01) (54)发明名称 基于蒙特卡洛树搜索的人脸增强现实标定 方法及装置 (57)摘要 基于蒙特卡洛树搜索的人脸增强现实标定 方法及装置， 能快速且准确地将术前手术计划叠 加到患者的颌面部区域 以引导医生进行颌面修 复手术， 对患者无侵入性伤害， 在部分遮挡的情 况下实现准确的增强现实叠加。 方法包括： (1)获 取CT影像， 并进行人脸皮肤的分割和三维重建； (2)针对人脸三维模型， 获取人脸3D特征点； (3) 针对2D搜索图像， 通过深度学习方法获取人脸2D 特征点； (4)构建虚拟相机球坐标系模型， 采集虚 拟相机的全局3D姿态； (5)利用虚拟相机3D姿态 之间的相互相似性， 对采集的3D 姿态进行聚类分 层， 构建跨金字塔级别的树结构； (6)利用蒙特卡 洛树搜索方法提取最佳3D姿态； (7)利用粒子群 优化方法细化初始3D姿态。 权利要求书2页 说明书4页 附图1页 CN 115049806 A 2022.09.13 CN 115049806 A 1.基于蒙特卡洛树搜索的人脸增强现实标定方法， 其特 征在于： 其包括以下步骤： (1)获取CT影 像， 并进行 人脸皮肤的分割和三维重建； (2)针对人脸 三维模型， 获取 人脸3D特 征点； (3)针对2D搜索图像， 通过深度学习方法获取 人脸2D特 征点； (4)构建虚拟相机球坐标系模型， 采集虚拟相机的全局3D姿态； (5)利用虚拟相机3D姿态之间的相互相似性， 对采集的3D姿态进行 聚类分层， 构 建跨金 字塔级别的树结构； (6)利用蒙特卡洛树搜索方法提取最佳3D姿态； (7)利用粒子群优化方法细化初始3D姿态。 2.根据权利要求1所述的基于蒙特卡洛树搜索的人脸增强现实标定方法， 其特征在于： 所述步骤(1)中， 从患者的CT图像中分割重建患者的面部皮肤， 获得 人脸的三维模型。 3.根据权利要求2所述的基于蒙特卡洛树搜索的人脸增强现实标定方法， 其特征在于： 所述步骤(2)中， 将 3D人脸模 型降维投影到2D平 面以构建二 维人脸图像； 通过深度神经网络 识别二维人脸图像的2D特征点； 将2D特征点反投影到3D人脸模型上以获得初始3D人脸特征 点； 构建一个基于特征局部约束的3D人脸特征点检测方法， 以在初始3D人脸特征点附近获 得精细的3D特 征点。 4.根据权利要求3所述的基于蒙特卡洛树搜索的人脸增强现实标定方法， 其特征在于： 所述步骤(4)中， 以人脸3D模型的中心点为球心， 让虚拟相机的光心指向球心点， 构建虚拟 相机姿态的球坐标系； 在球坐标系内 以经度、 纬度和与球心点的距离来采集虚拟相机的3D 位置姿态； 在一定范围的球坐标系内采集所有可能出现的3D姿态。 5.根据权利要求4所述的基于蒙特卡洛树搜索的人脸增强现实标定方法， 其特征在于： 所述步骤(5)中， 计算相邻3D姿态的相似性测度， 相互相似性测度高于阈值的3D姿态被聚类 为一个方面视图； 相 似性测度定义为两个3D姿态下3D特征点反投影到成像平面后， 反投影 的对应2D特征点之间欧氏距离的平均值加一的倒数； 两个3D姿态越相似， 则二者的相 似性 测度越大， 但最大不超过1； 从金字塔底层向顶层按相同规则进行逐层聚类， 直到达到顶层 的人脸模型的初始姿态。 6.根据权利要求5所述的基于蒙特卡洛树搜索的人脸增强现实标定方法， 其特征在于： 所述步骤(6)中， 蒙特卡洛树搜索迭代地执行以下四个步骤： 选择， 拓展， 模拟和反向传播； 以上四个步骤迭代执行直到满足最大迭代次数或获得理论最大奖励值； 在迭代完成后， 从 搜索树中选择 具有最大 奖励值的节点， 节点中对应的3D姿态为该 方法的最终结果。 7.根据权利要求6所述的基于蒙特卡洛树搜索的人脸增强现实标定方法， 其特征在于： 所述步骤(7)中， 为了快速完成搜索过程， 蒙特卡洛树搜索设置的搜索步长为 1， 因此通过蒙 特卡洛树搜索获得的3D姿态是一个初始姿态， 并不十 分精准； 在粒子群优化方法中， 设置粒 子数量为5000， 最大迭代次数为500， 搜索步长为0.01； 经过粒子群优化后的3D姿态是与当 前2D图像最匹配的3D姿态。 8.根据权利要求7所述的基于蒙特卡洛树搜索的人脸增强现实标定方法， 其特征在于： 该方法还包括步骤(8)， 利用最佳3D姿态将人脸三维模型叠加 到当前的2D图像上以获得AR 场景， 以便医生在AR场景的引导下完成手术操作。 9.基于蒙特卡洛树搜索的人脸增强现实标定装置， 其特 征在于： 其包括：权　利　要　求　书 1/2 页 2 CN 115049806 A 2第一获取模块， 其配置来获取CT影 像， 并进行 人脸皮肤的分割和三维重建； 第二获取模块， 其配置来针对人脸 三维模型， 获取 人脸3D特 征点； 第三获取模块， 其配置来针对2D搜索图像， 通过深度学习方法获取 人脸2D特 征点； 采集模块， 其配置来构建虚拟相机球坐标系模型， 采集虚拟相机的全局3D姿态； 构建模块， 其配置来利用虚拟相机3D姿态之间的相互相似性， 对采集的3D姿态进行聚 类分层， 构建跨金字塔级别的树结构； 提取模块， 其配置来利用蒙特卡洛树搜索方法提取最佳3D姿态； 细化模块， 其配置来利用粒子群优化方法细化初始3D姿态。 10.根据权利要求9所述的基于蒙特卡洛树搜索的人脸增强现实标定装置， 其特征在 于： 该装置还包括叠加模块， 其配置来利用最佳3D姿态将人脸三维模型叠加到当前的2D图 像上以获得AR场景， 以便医生在AR场景的引导下完成手术操作。权　利　要　求　书 2/2 页 3 CN 115049806 A 3