(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210921336.6 (22)申请日 2022.08.02 (71)申请人 杭州朝厚信息科技有限公司 地址 311422 浙江省杭州市富阳区银湖街 道富闲路9号银湖创新中心6号楼2楼 203室039工位 (72)发明人 武慧凯　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/33(2017.01) G06V 20/70(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 3D语义分割 网络构建方法、 CBCT 3D牙齿实 例分割方法及系统 (57)摘要 本发明提供了一种3D语义分割网络构建方 法、 CBCT 3D牙齿实例分割方法及系统， 本发明基 于弱监督的半自动数据标注方式构建用于牙齿 实例分割的3D语义分割网络， 可解决用于训练的 CBCT数据的标注难于获取的问题； 从而可以以更 低的成本获得更大量的数据， 提高3D语义 分割网 络的效果、 鲁棒性和泛化性。 进 一步提高CBCT  3D 牙齿实例分割方法及系统准确性， 可大规模推广 应用。 权利要求书2页 说明书5页 附图1页 CN 115359071 A 2022.11.18 CN 115359071 A 1.一种3D语义分割网络构建方法， 其特 征在于， 包括以下步骤： a、 构建第一训练数据集， 所述第一训练数据集的每一样本包括基于一张CBCT数据对应 牙列网格提取的点云特 征数据， 其中每 个样本的标签通过如下 方法标注： 收集CBCT数据及对应的具有标注的 口扫数据， 将CBCT数据重建为牙列网格数据； 使用ICP将牙列网格数据与对应的具有标注 的口扫数据进行配准， 然后基于口扫数据 的牙号使用最近邻算法对牙列网格数据进行标注； 提取牙列网格的点云特征数据， 基于标 注后的牙列网格数据对每个点云特征数据进 行标注， 其中每个牙位的牙齿对应的点云对应 同一个标签； b、 构建3D语义分割网络结构， 所述3D语义分割网络由图卷积网络和多尺度特征融合模 块组成； 其中， 图卷积网络用于基于输入的点云特征数据提取获得多尺度的特征图； 多尺度 特征融合模块用于对输入的多尺度的特征图进行特征融合并输出点云每个点的牙号预测 结果； c、 将第一训练数据集的每个样本作为3D语义分割网络的输入， 以最小化每个点云的牙 号预测结果与标签的损失为目标进行训练获得用于牙齿实例分割的3D语义分割网络 。 2.一种CBCT  3D牙齿实例分割方法， 其特 征在于， 包括以下步骤： 步骤1、 将CBCT数据转换成一组二维CBCT图像序列， 将一组二维CBCT图像序列输入至2D 语义分割网络， 进行牙齿区域分割， 获得每一张二维CBCT图像的牙齿区域分割结果； 将全部的二维CBCT图像的牙齿区域分割结果按照 CBCT的扫 描顺序进行堆叠， 获得提取 的牙齿区域； 步骤2、 采用面绘制方法将提取的牙齿区域 三维重建为牙列网格数据； 步骤3、 提取网格数据的点云特征数据， 采用权利要求1所述方法构建获得的3D语义分 割网络进行基于点云语义的实例分割， 得到网格数据的牙齿实例。 3.根据权利要求2所述的方法， 其特征在于， 所述步骤1中， 所述2D语义分割网络通过如 下方法获得： a、 构建第二训练数据集， 所述第二训练数据集的每一样本为一组由CBCT数据转换成的 二维CBCT图像序列， 其中部分二维CBCT图像具有对应的标签图像； b、 构建2D语义分割网络结构， 所述2D语义分割网络由2D骨干网络、 双向时空融合模块 和特征融合模块组成； 其中， 网络的输入 是以当前帧为中心的前后共2 N+1张二维CBCT图像， 2D骨干网络用于基于输入的每2N+1张二维CBCT图像提取获得对应的全局特征图和局部多 尺度特征图； 双向时空融合模块用于对输入的按照CBCT 数据的扫描顺序获得的一组全局特 征图序列和按照CBCT数据的逆向扫描顺序获得的一组全局特征图序列进行融合获得时空 全局特征图； 特征融合模块用于将时空全局特征图与当前帧的局部多尺度特征图融合并输 出当前帧的二维CBCT图像的分割预测结果； c、 将训练数据集的每个样本作 为2D语义分割网络的输入， 以最小化每张二维CBCT图像 的分割预测结果与标签图像的损失为目标进行训练获得2D语义分割网络 。 4.根据权利要求3所述的方法， 其特征在于， 所述双向时空融合模块为ConvLSTM、 注意 力机制模块或GRU循环神经网络 。 5.根据权利要求3所述的方法， 其特征在于， 所述特征融合模块为UpperHead、 U ‑Net、 FPN或FastFCN。权　利　要　求　书 1/2 页 2 CN 115359071 A 26.根据权利要求2所述的方法， 其特征在于， 所述步骤2中， 面绘制方法为Marching   Cube。 7.根据权利要求2所述的方法， 其特征在于， 所述步骤1中， 2D骨架网络为Swin、 Resnet、 EfficientNet或Transformer。 8.一种CBCT  3D牙齿实例分割 系统， 其特 征在于， 包括： 牙列网格重建单元， 用于输入CBCT数据， 基于深度学习分割模型， 进行牙齿区域分割， 提取牙齿区域； 再采用面绘制方法将提取的牙齿区域 三维重建为牙列网格数据； 牙齿实例分割单元， 用于提取网格数据的点云特征数据， 采用权利要求1所述方法构建 获得的3D语义分割网络进行基于点云语义的实例分割， 得到网格数据的牙齿实例。权　利　要　求　书 2/2 页 3 CN 115359071 A 3