(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211168067.7 (22)申请日 2022.09.23 (71)申请人 艾瑞迈迪医疗科技 （北京） 有限公司 地址 100081 北京市海淀区中关村南大街 海淀科技大厦0810 (72)发明人 杨峰　蒋嘉熙　 (74)专利代理 机构 北京市中 闻律师事务所 11388 专利代理师 冯梦洪 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/136(2017.01) G06T 17/20(2006.01) G09B 23/28(2006.01)G16H 20/40(2018.01) G16H 30/20(2018.01) G16H 50/50(2018.01) (54)发明名称 腹腔实时穿刺虚拟仿真培训方法及装置 (57)摘要 腹腔实时穿刺虚拟 仿真培训方法及装置， 方 法包括： (1)得到目标病人的CT图， 生成对应的三 维虚拟面片 模型； (2)将其四面体化， 根据生理学 特征改变模 型不同区域的软硬程度， 获取不同区 域的边界状态， 将其与三角面片网格有机合并， 使视觉变化与力觉变化同步； (3)遍历检测获取 手术工具与器官组织的碰撞点位置信息， 计算不 同时刻的速度、 力、 阻尼， 传输给力反馈装置； (4) 将病人CT 转为超声， 将 超声图片与模型进行同一 位置重合堆叠， 在虚拟超声探头上绑上切片， 切 片以不同角度切入堆叠的超声图中； (5)标记术 前规划的布针点， 术中操作人员根据实时的超声 导航去拟合之前规划的标志点， 根据操作点与标 志点的差距及操作时间来综合进行评分。 权利要求书2页 说明书5页 附图1页 CN 115457008 A 2022.12.09 CN 115457008 A 1.腹腔实时穿刺虚拟仿真培训方法， 其特 征在于： 其包括以下步骤： (1)先得到目标病人的CT图， 再根据半自动的阈值分割生成对应的三维虚拟面片模型； (2)得到基于病人的面片模型后将其四面体化， 根据生理学特征改变模型不同区域的 软硬程度， 获取不同区域的边界状态， 再将其与三角面片网格有机合并， 使其视觉变化与力 觉变化同步； (3)遍历检测 获取手术工具与器官组织的碰撞点位置信息， 计算不同时刻的速度、 力、 阻尼这些物理信息， 传输给力反馈装置， 以供用户实时感受到模型的力学性状； (4)将病人的CT转为超声， 并将超声图片与模型进行同一位置重合堆叠， 再在虚拟超声 探头上绑上切片， 切片以不同角度切入堆叠的超声图中； (5)先标记术前规划的布针点， 术中操作人员根据实时的超声导航去拟合之前规划的 标志点， 然后根据实际操作点与规划标志点的差距及操作时间来综合进行评分。 2.腹腔实时穿刺虚拟仿真培训装置， 其特 征在于： 其包括： 三维建模模块， 先得到目标病人的CT图， 再根据半自动的阈值分割生成对应的三维虚 拟面片模型； 软组织建模模块， 得到基于病人的面片模型后将其四面体化， 根据生理学特征改变模 型不同区域的软硬程度， 获取不同区域的边界状态， 再将其与三角面片网格有机合并， 使其 视觉变化与力觉变化同步； 碰撞检测与力反馈模块， 遍历检测获取手术工具与器官组织的碰撞点位置信息， 计算 不同时刻的速度、 力、 阻尼这些物理信息， 传输给力 反馈装置， 以供用户实时感受到模型 的 力学性状； 超声导航模块， 将病人的CT转为超声， 并将超声图片与模型进行同一位置重合堆叠， 再 在虚拟超声探 头上绑上切片， 切片以不同角度切入堆叠的超声图中； 综合评估模块， 先标记术前规划的布针点， 术中操作人员根据实时的超声导航去拟合 之前规划的标志点， 然后根据实际操作点与规划标志点的差距及操作时间来综合进行评 分。 3.根据权利要求2所述的腹腔 实时穿刺虚拟仿真培训装置， 其特征在于： 所述碰撞检测 与力反馈模块具有外设工具， 根据不同的需求进行激光3d打印定制、 拆解、 组装， 使得该装 置适用于多种不同的手术工具与术式。 4.根据权利要求3所述的腹腔 实时穿刺虚拟仿真培训装置， 其特征在于： 所述超声导航 模块使用深度学习的方法将CT图转变为超声图。 5.根据权利要求4所述的腹腔 实时穿刺虚拟仿真培训装置， 其特征在于： 所述超声导航 模块中， 像素渲染到切片上， 然后再显示切片的图像。 6.根据权利要求5所述的腹腔 实时穿刺虚拟仿真培训装置， 其特征在于： 所述三维建模 模块， 用DICOM格式的CT数据或MRI进行建模， 其中CT数据设置层厚1.00mm进行拍摄， 对象为 目标为腹腔， 并储 存为DICOM格式。 7.根据权利要求6所述的腹腔 实时穿刺虚拟仿真培训装置， 其特征在于： 所述软组织建 模模块中， 基于MIT K类库， 根据不同组织的灰度范围不同进 行阈值筛选与分割， 得到初步模 型之后， 基于专 业医生的意见针对关键部位进行网格细化， 对不关键部位进行网格删减、 并 采用拉伸、 旋转， 使最终模型符合 生理学结构特点， 并最后保存为stl格式的三角面片文件。权　利　要　求　书 1/2 页 2 CN 115457008 A 28.根据权利要求7所述的腹腔 实时穿刺虚拟仿真培训装置， 其特征在于： 所述软组织建 模模块， 对模型 的不同区域设定特定的柔性系 数， 且将软体力 反馈模型与视觉模型进行合 并， 使得力反馈与视觉同步； 腹腔内部结构， 将组织分为皮肤、 肌肉、 脂肪、 骨骼四类， 对不同 类型的模型赋予不同的生物力学参数及 模型在外施力状态下的约束， 同一器官中的不同部 位任意调整其 生物力学参数。 9.根据权利要求8所述的腹腔 实时穿刺虚拟仿真培训装置， 其特征在于： 所述碰撞检测 与力反馈模块， 判断虚拟手术器械与虚拟模型之间的碰撞位置以及碰撞物理参数， 以便指 导模型形变与力反馈的值的输入； 虚拟手术器械模 型是根据真实的手术器械模型1比1进 行 3d打印建模制作的母体， 其中的碰撞检测模型是给予AABB算法进行判断是否碰撞的， 在每 一帧中， 循环检测手术工具与 物理模型的碰撞点， 获取其碰撞点信息， 所有器械的碰撞检测 盒皆大于本身直径0.1毫米； 获得某一时刻某些点的碰撞速度， 方向， 力大小， 动量信息后， 将数值输入力反馈模型， 来完成对力反馈的物理模拟； 力反馈设备模块使用3D ‑system的 Touch笔设备， 其 通过USB接口与计算机连接， 并安装开源的OpenHaptics驱动工具包。 10.根据权利要求9所述的腹腔实时穿刺虚拟仿真培训装置， 其特征在于： 所述术中导 航模块， 模拟真实手术过程中， 通过实时超声系统获取不同部位的超声图像以起到术中引 导定位的作用； 在获取到CT 数据之后， 通过深度学习风格迁移获得初始的超声图片， 进 行精 修， 再将其堆叠进系统与虚拟的模型进行一比一的位置匹配， 接着在虚拟超神探头的前端 绑定一个平面， 平 面获取与他重合的对应位置的像素点信息， 并进 行复制， 这样就使得当这 个平面切到超声生成的堆叠体的时候， 平面能获得不同角度的超声切片图， 最后将此切片 图上传到UI界面； 术后评估模块， 在获取术前规划的定位信息之后， 储存定位， 且在与手术 模拟中的操作进行对比匹配， 通过时间、 位置偏差、 角度偏差、 误触累计来计算出最终的评 分。权　利　要　求　书 2/2 页 3 CN 115457008 A 3