(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211147264.0 (22)申请日 2022.09.19 (71)申请人 上海健康医学院 地址 201318 上海市浦东 新区周祝公路279 号 (72)发明人 唐智贤　王雪　李镇　胡家祺　 张艳　 (74)专利代理 机构 上海十蕙一兰知识产权代理 有限公司 313 31 专利代理师 刘秋兰 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/90(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于ViT机制模 型的胃肠癌病理图像分割方 法及相关 设备 (57)摘要 本发明属于医学图像处理技术领域， 具体涉 及一种基于ViT机制模 型的胃肠癌病理图像分割 方法及相关设备。 一种基于ViT机制模型的胃肠 癌病理图像分割方法， 包括： 获取待分割的胃肠 癌病理图像， 对待分割的胃肠癌病理图像进行预 处理； 采用预设的基于ViT主干的细胞核分割模 型对经预处理后的胃肠癌病理图像进行细胞核 分割， 生成两个分割预测， 对两个分割预测进行 加和后的预测结果作为细胞核分割结果。 本发明 针对病理图像染色不均一、 胃肠癌细胞核形态不 规则、 重叠、 既往方法分割精度不够等情况， 本发 明提出的基于ViT机制模型的胃肠癌病理图像分 割方法， 模型能够自动、 高效、 精准地在胃肠癌病 理图像中检测并分割出细胞核区域。 权利要求书2页 说明书9页 附图2页 CN 115496720 A 2022.12.20 CN 115496720 A 1.一种基于ViT机制模型的胃肠癌病理图像分割方法， 其特 征在于， 包括： 获取待分割的胃肠癌病理图像， 对待分割的所述胃肠癌病理图像进行 预处理； 采用预设的基于ViT主干的细胞核分割 模型对经预处理后的所述胃肠癌病理图像进行 细胞核分割， 生成两个分割 预测， 对两个所述分割 预测进行加和后的预测结果作为细胞核 分割结果。 2.如权利要求1所述的基于ViT机制模型的胃肠癌病理图像分割方法， 其特征在于， 所 述采用预设的基于V iT主干的细胞核分割模型对 经预处理后的所述胃肠癌病理图像进行细 胞核分割之前， 还 包括对所述细胞核分割模型进行训练： 获取胃肠癌病理数据， 对组织图像中的细胞核进行标记， 得到若干标记后的胃肠癌病 理图像， 建立胃肠癌病理专病数据库； 对标记后的所述胃肠癌病理图像进行 预处理； 构建基于ViT主干的细胞核分割模型， 利用预处理后的所述胃肠癌病理图像对所述细 胞核分割模型进行训练， 在训练时， 所述细胞核分割模型生成的两个分割 预测分别与预设 的掩膜计算损失函数后， 再将两个所述分割预测加和作为最 终的调整 数据传递给所述细胞 分割模型。 3.如权利要求1或2所述的基于ViT机制模型的胃肠癌病理图像分割方法， 其特征在于， 所述细胞核分割模型包括用于特 征捕捉的编码器和用于聚合 不同层次特 征的解码器； 所述编码器采用可变形的自注意力机制构成的编码器， 经所述编码器的计算， 从所述 胃肠癌病理图像 中提取四个层次的来自不同深度的特征fi， i＝1、 2、 3或4， 其中f1为低阶特 征， f2、 f3和f4为高阶特 征； 所述解码器将所述低阶特 征和所述高阶特 征聚合为两个分割预测。 4.如权利要求3所述的基于ViT机制模型的胃肠癌病理图像分割方法， 其特征在于， 所 述解码器包括： 一聚合模块， 分别将各层次的所述高阶特征叠加在一起， 经卷积后得到高阶特征聚合 的结果， 所述结果 为一个聚合特 征T1， 并以此生成一个分割预测P1； 一并行池化的注意力卷积 模块， 根据所述低阶特征f1经池化层生成三个层级的特征图， 每个层级的所述特征图均经过卷积后再融合在一起， 最 终连接一个平均池化层和全连接层 后得到低阶特 征T2； 一相似性聚合模块， 将所述特 征T1和所述特 征T2融合并生成另一个分割预测P2。 5.如权利要求1或2所述的基于ViT机制模型的胃肠癌病理图像分割方法， 其特征在于， 对待分割的所述胃肠癌病理图像进行预处理或对标记后的所述胃肠癌病理图像进行预处 理时， 采用尺寸归一 化以及颜色归一 化处理方式。 6.如权利要求5所述的基于ViT机制模型的胃肠癌病理图像分割方法， 其特征在于， 所 述尺寸归一 化处理方式为将所述胃肠癌病理图像裁切成预设大小。 7.如权利要求5所述的基于ViT机制模型的胃肠癌病理图像分割方法， 其特征在于， 所 述颜色归一 化处理方式包括： 设所述胃肠癌病理图像为图像s， 预设的模板图像为图像t； 利用下述公式(1)和公式(2)， 将图像s的光密度Vs转换为WsHs， 将图像t的光密度Vt转换 为WtHt， 其中Ws为图像s的颜色表观矩阵， Hs为图像s的染色密度矩阵， Wt为图像t的颜色表观权　利　要　求　书 1/2 页 2 CN 115496720 A 2矩阵， Ht为图像t的染色密度矩阵； V＝WH                (2) 其中， V表示图像的光密度， I0表示入射光照强度， I表示原始RGB图像， W表示图像的颜色 表观矩阵， H表示图像的色密度矩阵； 利用下述公式(3)， 将图像s的染色密度矩阵和图像t的染色密度矩阵进行配准， 得到配 准后的图像s的染色密度矩阵 其中， Hs(j， ： )为图像s配准前的染色密度矩阵， Ht(j， ： )为图像t配准前的染色密度矩 阵， j为r个染色剂索引， RM( ·)用于计算每个行向量在99％处的鲁棒伪最大值(Robust   Pseudo Maximum)； 利用下述公式(4)， 即将配准后的图像s染色密度矩阵与配准前的图像t的颜色表观矩 阵相乘， 得到颜色归一 化后的图像s； 其中， 为颜色归一化后的图像s， Wt为配准前的图像t的颜色表观矩阵， 为配准后 的图像s染色密度矩阵。 8.一种基于ViT机制模型的胃肠癌病理图像分割装置， 其特 征在于， 包括： 预处理模块， 用于获取待分割的胃肠癌病理图像， 对待分割的所述胃肠癌病理图像进 行预处理； 细胞核分割模块， 用于采用预设的基于ViT主干的细胞核分割模型对经预处理后的所 述胃肠癌病理图像进行细胞核分割， 生成两个分割 预测， 对两个所述分割 预测进行加和后 的预测结果作为细胞核分割结果。 9.一种计算机设备， 其特征在于， 包括存储器和处理器， 所述存储器中存储有计算机可 读指令， 所述计算机可读指令被所述处理器执行时， 使得所述处理器执行如权利要求1至7 中任一项权利要求所述的基于ViT机制模型的胃肠癌病理图像分割方法的步骤。 10.一种存储有计算机可读指令的存储介质， 其特征在于， 所述计算机可读指令被一个 或多个处理器执行时， 使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述 的基于ViT机制模型的胃肠癌病理图像分割方法的步骤。权　利　要　求　书 2/2 页 3 CN 115496720 A 3