(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210691216.1 (22)申请日 2022.06.17 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 王越　陆豪健　熊蓉　李雲霜　 张敬禹　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 郑海峰 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/75(2022.01) G06T 7/11(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种应用 于肺支气管镜手术机器人的场景 重建方法 (57)摘要 本发明公开了一种应用于肺支气管镜手术 机器人的场景重建方法， 属于肺支气管镜手术机 器人领域。 获取肺支气管的内窥镜图像序列， 滤 波； 对滤波后的图像序列进行特征点提取并进行 邻帧特征点匹配； 以首帧图像视角为初始化位 姿， 根据前两帧图像的特征点及匹配 关系计算第 二帧图像位姿； 根据特征点及匹配关系、 位姿， 采 用三角化测量方法估计相匹配的特征点深度， 得 到初始点云； 根据第t帧图像的特征点在点云中 的位置， 得到第t帧图像位姿， t≥3； 根据第t帧和 前一帧图像特征点及匹配关系、 位姿， 采用三角 化测量方法估计相匹配的特征点深度， 更新点 云； 最终得到局部肺支气管三维重建图。 本发明 不需要额外的传感器信息辅助， 重建准确性高， 鲁棒性好。 权利要求书2页 说明书8页 附图3页 CN 115222878 A 2022.10.21 CN 115222878 A 1.一种应用于肺 支气管镜手术机器人的场景重建方法， 其特 征在于， 包括以下步骤： 步骤1， 获取肺支气管的内窥镜图像序列， 对内窥镜图像进行滤波， 增强内窥镜 图像上 的气管的管腔特 征， 得到增强图像序列； 步骤2， 对增强图像序列进行特征点提取并对邻帧图像进行特征点匹配， 得到邻帧图像 的匹配关系； 步骤3， 以第 一帧内窥镜图像的视角为初始化位姿， 根据前两帧内窥镜图像的特征点及 匹配关系计算第二帧内窥镜图像相对第一帧内窥镜图像的位姿； 根据特征点及 匹配关系、 位姿， 采用三角化测量方法估计相匹配的特 征点深度， 得到初始点云； 步骤4， 根据第t帧内窥镜图像的特征点在点云中的位置， 得到第t帧内窥镜图像的位 姿， t≥3； 根据第t帧和第t ‑1帧内窥镜图像特征点及匹配关系、 位姿， 采用三角化测量方法 估计相匹配的特 征点深度， 更新 点云； 步骤5， 根据最终的点云得到局部肺 支气管三维重建图。 2.根据权利要求1所述的一种应用于肺支气管镜手术机器人的场景重建方法， 其特征 在于， 所述的步骤1 中采用U‑Net网络对内窥镜图像进行滤波， 所述的U ‑Net网络包含降采样 和上采样两个部分； 所述的降采样具体为： 每两次3 ×3卷积操作后进行步长为2的最大池化操作降维， 作为 一次降采样， 每一次降采样过程均采用ReLU激活函数； 所述的上采样具体为： 先经过一个2 ×2的卷积操作使通道数翻倍， 然后与对应的降采 样过程生成的特征图进 行拼接， 再进 行两次3×3卷积操作， 作为一次上采样， 每一次上采样 过程均采用ReLU激活函数； 将最后一次上采样的输出经过一层1 ×1的卷积层， 得到过滤后的内窥镜图像， 用于增 强内窥镜图像上的气管 管腔轮廓及内部特 征。 3.根据权利要求1所述的一种应用于肺支气管镜手术机器人的场景重建方法， 其特征 在于， 步骤2采用的特 征提取与匹配算法为HAPCG算法。 4.根据权利要求1所述的一种应用于肺支气管镜手术机器人的场景重建方法， 其特征 在于， 所述的步骤3具体为： 步骤3.1， 八点对法求 解2D‑2D位姿 针对前两 帧内窥镜图像的一对匹配点， 定义在归一化坐标平面上， 有X＝[u， v， 1]T和X1 ＝[u1， v1， 1]T两个像素点： 根据对极几何约束， 有： 其中， 表示3×3约束矩阵， u1、 v1是像素点X1的坐标， u、 v是像素点X的坐 标； 写成线性形式： [u1u， u1v， u1， v1u， v1v， v1， u， v， 1]·e＝E1·e＝0 其中， e表示9 ×1约束矩阵， E1是局部本质矩阵；权　利　要　求　书 1/2 页 2 CN 115222878 A 2同样地， 选取其余七对 匹配点， 按照上述方式进行表示； 将八对 匹配点的表示结果整合 到一个线性方程当中， 解 算得到本质矩阵 对本质矩阵E进行奇异值分解： E＝U∑VT 计算解： 其中， U、 V表示正交矩阵， ∑表示对角矩阵； R1、 R2是旋转矩阵， t1、 T2是平移矩阵； 表 示沿z轴旋转 的旋转矩阵， 表示沿z轴旋转 的旋转矩阵； 从上述四个解(R1， T1)、 (R1， T2)、 (R2， T1)、 (R2， T2)中筛选出唯一符合真实情况的解作为 位姿估计结果(R， T)； 步骤3.2， 三角化测量法估计深度 根据位姿估计结果(R， T)， 得到像素点X， X1的关系： s1X1＝sRX+T 将上式转 化为： s1X1^X1＝0＝sX1^RX+X1^T 其中， s1是像素点X1的深度信息， s是像素点X的深度信息； 将式子看作是关于深度的方 程， 能够直接求 解s1和s； 步骤3.3， 重复步骤3.1和步骤3.2， 遍历所有的匹配点， 根据相匹配的特征点深度得到 初始点云。 5.根据权利要求1所述的一种应用于肺支气管镜手术机器人的场景重建方法， 其特征 在于， 步骤4中， 采用pnp算法计算第t帧内窥镜图像的位姿， t≥3 。 6.根据权利要求1所述的一种应用于肺支气管镜手术机器人的场景重建方法， 其特征 在于， 步骤4中， 每次更新点云之前， 首先将估计好的点云分别投影到不同的成像平面上， 与 该平面上原本对应的特征点计算欧式距离， 若距离大于阈值， 即认为该点估计较差， 将其从 点云中移除。权　利　要　求　书 2/2 页 3 CN 115222878 A 3