(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211111864.1 (22)申请日 2022.09.13 (71)申请人 上海派影医疗科技有限公司 地址 200120 上海市浦东 新区中国(上海) 自由贸易试验区临港新片区环湖西二 路888号C楼 (72)发明人 郑魁　丁维龙　赵樱莉　宗泽永　 (74)专利代理 机构 上海互顺专利代理事务所 (普通合伙) 31332 专利代理师 曹月明 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/136(2017.01) G06T 5/00(2006.01) G06T 5/40(2006.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种乳腺组织切片癌变区域分割方法及装 置 (57)摘要 本发明公开了一种乳腺组织切片癌变区域 分割方法， 包括： 基于患癌全切片及其中癌变区 域的标注， 制作训练集和测试集； 设计基于多尺 度融合和注 意力机制的分割模型， 并采用所述训 练集对所述 分割模型进行训练， 获得训练后的分 割模型； 将待检测的全切片图像输入已训练的分 割模型中， 得到热力图形式的分割结果； 应用全 连接条件随机场CRF模型对分割结果进行细化， 得到图像块； 将所得到的图像块的进行拼接， 形 成全切片 的分割结果。 应用本发明实施例， 旨在 实现乳腺病理图像癌变区域自动分割。 权利要求书3页 说明书8页 附图3页 CN 115439493 A 2022.12.06 CN 115439493 A 1.一种乳腺组织切片癌变区域分割方法， 其特 征在于， 所述方法包括： 基于患癌全切片及其中癌变区域的标注， 制作训练集和 测试集； 设计基于多尺度融合和注意力 机制的分割 模型， 并采用所述训练集对所述分割 模型进 行训练， 获得训练后的分割模型； 将待检测的全切片图像输入已训练的分割模型中， 得到热力图形式的分割结果； 应用全连接条件随机场CRF模型对分割结果进行细化， 得到图像块； 将所得到的图像块的进行拼接， 形成全切片的分割结果。 2.根据权利要求1所述的乳腺组织切片癌变区域分割方法， 其特征在于， 所述基于患癌 全切片及其中癌变区域的标注， 制作训练集和 测试集步骤， 包括： 基于预先提供的数据集， 获得其中每张患癌全切片的非癌变区域、 癌变区域及癌变区 域对应的标注， 并将每一张患癌全切片转换成对应的癌变区域掩码图， 在 掩码图中， 癌变区 域的像素值 为255， 非癌变区域的像素值 为0； 使用Ostu分割法， 将患癌全切片转换为灰度图像， 并根据像素分布找出组织区域和背 景方差最大时的灰度， 根据所获取的灰度将提取的组织区域转换成切片对应的组织区域掩 码文件； 分别在患癌全切片的非癌变区域和癌 变区域， 采用随机取样的方式抽取256 ×256像素 大小的图像块， 并对该患癌切片的掩码图像对应位置进行分割操作， 提取同样大小的掩码 块； 提取的图像块包含的组织区域占整张图像块比例需不小于50％， 同时正常图像块不包 含癌症像素， 肿瘤图像块中 需至少包 含一个癌症像素； 用Reinhard色彩迁移方法将所提取的图像块进行颜色归一化， 并采用直方图均衡技术 对图像块进行增强， 更加凸显乳腺组织病理细胞级特征， 最后将数据集以预设比例分为训 练集和测试集。 3.根据权利要求1或2所述的乳腺组织切片癌变区域分割方法， 其特征在于， 所述设计 基于多尺度融合和注意力机制的分割模型的步骤， 包括： 以U‑Net++网络模型作为分割模型的主干网络， 并对原U ‑Net++网络模型的解码器部分 进行优化， 减少大量的跳跃结构， 使得解码 器中每个节点只保存一次跳跃结构， 并直接连接 到预设侧节点中； 使用残差注意力块对原U ‑Net++网络模型的卷积块进行替换， 得到基于多尺度融合和 注意力机制的分割模型； 对于给定的中间特征图输入F， 经过两个卷积块， 将特征分别输入到空间注意力模块和 通道注意力模块中， 将两个模块输出 的特征进行融合， 输入特征与融合后的双注意力特征 通过恒等映射作为输出， 其中每个卷积块包含归一化层BN、 ReLU层和卷积核为3 ×3的卷积 层； 在编码器和解码器之间的中间层添加一个多尺度 特征融合模块。 多尺度 特征融合模块 为一个带有跳跃连接的三层膨胀率不同的空洞卷积组成， 用来获取3种感受野的特征， 捕获 多尺度的图像属性和癌变组织的全局形状特 征； 多尺度特征融合模块由三个膨胀率分别为6、 12、 18的空洞卷积组成， 空洞卷积的卷积 核为3×3， 步长为1， 每次空洞卷积之后紧跟 一个ReLU层； 利用跳跃连接将 3种尺度的特征和 经上采样操作后的输入特征在通道维度上进 行融合； 将不同尺度的特征融合后利用1 ×1的权　利　要　求　书 1/3 页 2 CN 115439493 A 2卷积将其转化为固定大小的特 征图。 4.根据权利要求3所述的乳腺组织切片癌变区域分割方法， 其特征在于， 所述采用所述 训练集对所述分割模型进行训练， 获得训练后的分割模型， 包括： 使用翻转、 旋转、 裁剪方式对训练集中的图像块和掩码图进行数据增强， 使用收敛速度 较快的Adam优化算法， 在训练过程中采用交叉熵损失函数作为起始阶段的损失函数， 当模 型迭代到一定收敛程度， 采用Dice损失函数对 模型参数进行调整。 5.根据权利要求1 ‑2或者4中任一项所述的乳腺组织切片癌变区域分割方法， 其特征在 于， 所述将待检测的全切片图像输入已训练的分割模型中， 得到热力图形式的分割 结果的 步骤， 包括： 制作待检测的全切片图像的分割数据集， 利用滑动窗口在病理图像的组织区域提取 256×256像素大小的待检测图像块， 并对待检测图像块进行颜色归一 化处理； 将待检测图像块输入到已训练的分割模型， 进行癌变区域的预测； 在预测结果中， 待检 测图像块中每 个像素都可以获得一个患 癌概率； 根据所有像素的患癌概率值， 绘制待检测图像块的癌变区域热力图， 并以设定颜色区 域显示恶性肿瘤所在区域， 该分割结果用以预测癌变区域的存在和位置 。 6.根据权利要求1所述的乳腺组织切片癌变区域分割方法， 其特征在于， 所述应用全连 接条件随机场CRF模型对分割结果进行细化， 得到图像块的步骤， 包括： 所述全连 条件随机场CRF模型的结构包括： 应用吉布斯能量分布函数表示图像中的一个标签分布情况E(x|I)： 其中， 一元项能量函数θi(xi)＝‑logP(xi)， P(xi)表示图像块中第i个像素的患癌概率预 测值， 若预测的患癌概率值越大， 则能量越小， 预测越准确二元项能量函数θij(xi,xj)具体 表达为： θij(xi,xj)＝ μ(xi,xj)(ω1k1,ω2k2) 其中， k1， k2为二元项能量函数的高斯核； σα， σβ， σγ为高斯核的标准差参数； ω1， ω2高斯 函数的权重； pi， pj和Ii， Ij分别表示像素点i， j的位置信息和颜色信息， μ(xi,xj)表示两个标 签之间的兼容 性度量。 7.根据权利要求1所述的乳腺组织切片癌变区域分割方法， 其特征在于， 所述将所得到 的图像块的进行拼接， 形成全切片的分割结果的步骤， 包括： 通过设定的阈值， 将全切片中经过图像后处理操作的图像块转化为二值图像， 其中癌 像素为1， 正常像素为0 。 将处理后的分割图拼接成和原全切片尺寸相同的图像， 形成整个全切片的分割结果。权　利　要　求　书 2/3 页 3 CN 115439493 A 3