(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210980583.3 (22)申请日 2022.08.16 (65)同一申请的已公布的文献号 申请公布号 CN 115063592 A (43)申请公布日 2022.09.16 (73)专利权人 之江实验室 地址 311121 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 (72)发明人 黄海亮　朱闻韬　金源　薛梦凡　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G16H 30/20(2018.01)G16H 50/20(2018.01) G06T 7/00(2017.01) (56)对比文件 CN 111985536 A,2020.1 1.24 CN 111985536 A,2020.1 1.24 CN 114255386 A,202 2.03.29 CN 112348059 A,2021.02.09 CN 114445356 A,2022.05.06 CN 113486981 A,2021.10.08 CN 114581366 A,2022.06.03 CN 114638292 A,2022.06.17 CN 114299324 A,202 2.04.08 陈金广等.面向方面级情感分类的特 征融合 学习网络. 《模式识别与人工智能》 .2021, 张墺琦.基 于注意力机制的组织病理图像分 割方法研究. 《中国优秀硕士学位 论文全文数据 库》 .2021, 审查员 崔芳婷 (54)发明名称 一种基于多尺度的全扫描病理特征融合提 取方法及系统 (57)摘要 本发明公开了一种基于多尺度的全扫描病 理特征融合提取方法及系统， 本发 明通过使用多 尺度的全扫描病理特征融合提取的方式， 借用多 尺度的方案使得特征提取拥有更全面的信息， 既 有全局的整体信息， 又有局部的详细信息。 再结 合注意力机制的加权融合方案， 使得最终获取的 特征， 重点更加突出， 更能代表全扫描病理图像。 通过本发明， 可以更好的获取全扫描病理图像的 整体特征， 从而可以协助病理科医生进行病理诊 断、 帮助临床医生更好的使用多模态信息进行疾 病诊断时， 提高多 模态融合分析的准确性。 权利要求书2页 说明书9页 附图4页 CN 115063592 B 2022.12.06 CN 115063592 B 1.一种基于多尺度的全扫描病理特 征融合提取方法， 其特 征在于， 包括： （1） 将待处 理的全扫描病理图像分割成多个前 景病理图像； （2） 对每张前景病理图像一一进行特征提取， 获得对应的前景病理图像特征； 其中， 对 每张前景病理图像进行 特征提取的方法具体如下： 对待处理的前景病理图像降采样， 获得低分辨 率的前景病理图像； 将待处理的前景病理图像进行分割获得多个图像块； 将低分辨率的前景病理图像、 多个图像块分别输入至训练好的第 一特征提取网络和第 二特征提取网络进行特征提取， 所述第一特征提取网络和 第二特征提取网络均由依次连接 的特征提取模块、 空间注意力模块组成； 同时基于对应的空间注意力模块输出低分辨率的 前景病理图像、 多个图像块对应的空间注意分数； 将每个图像块提取 的特征与低分辨率的 前景病理图像提取的特征进行拼接， 然后 将多个图像块对应的空间注意分数作为权重对拼 接后的特 征进行加权融合获得对应的前 景病理图像特 征； （3） 将低分辨率的前景病理图像对应的空间注意分数作为权重将多个前景病理图像对 应的前景病理图像特 征进行加权融合获得全扫描病理图像的融合特 征。 2.根据权利要求1所述的方法， 其特征在于， 所述将待处理 的全扫描病理图像分割成多 个前景病理图像， 具体为： 获取待处 理的全扫描病理图像的前 景掩模； 按照设定的图像大小使用滑动的方式在全扫描病理图像上截取patch图像， 若截取的 patch图像有3个或3个以上的顶 点落在所述前景掩模内， 保留对应的patch图像 即为前景病 理图像， 否则丢弃。 3.根据权利要求1 ‑2任一项所述的方法， 其特征在于， 所述第一特征提取网络通过如下 方法训练获得： 获取第一训练数据集， 其中， 所述第一训练数据集的每个样本为一张经降采样处理的 低分辨率的前景病理图像； 将所述第一训练数据集的每个样本输入至第 一特征提取网络 中进行特征提取， 提取的 特征由一全连接分类器分类获得预测的分类结果， 通过最小化预测的分类结果与真值的损 失函数对第一特征提取网络和全连接分类器进行训练， 训练完成获得训练好的第一特征提 取网络； 所述第二特 征提取网络通过如下 方法训练获得： 获取第二训练数据集， 其中， 所述第二训练数据集的每个样本为一张前景病理图像分 割获得的图像块； 将所述第二训练数据集的每个样本输入至第 二特征提取网络 中进行特征提取， 提取的 特征由一全连接分类器分类获得预测的分类结果， 通过最小化预测的分类结果与真值的损 失函数对第二特征提取网络和全连接分类器进行训练， 训练完成获得训练好的第二特征提 取网络。 4.一种基于多尺度的全扫描病理特 征融合提取系统， 其特 征在于， 包括： 数据预处 理模块， 用于将待处 理的全扫描病理图像分割成多个前 景病理图像； 特征提取模块， 用于对每张前景病理图像一一进行特征提取， 获得对应的前景病理图 像特征； 其中， 对每张前 景病理图像进行 特征提取的方法具体如下：权　利　要　求　书 1/2 页 2 CN 115063592 B 2对待处理的前景病理图像降采样， 获得低分辨 率的前景病理图像； 将待处理的前景病理图像进行分割获得多个图像块； 将低分辨率的前景病理图像、 多个图像块分别输入至训练好的第 一特征提取网络和第 二特征提取网络进行特征提取， 所述第一特征提取网络和 第二特征提取网络均由依次连接 的特征提取模块、 空间注意力模块组成； 同时基于对应的空间注意力模块输出低分辨率的 前景病理图像、 多个图像块对应的空间注意分数； 并将每个图像块提取 的特征与低分辨率 的前景病理图像提取的特征进 行拼接， 然后将多个图像块对应的空间注意分数作为权重对 拼接后的特 征进行加权融合获得对应的前 景病理图像特 征； 特征融合模块， 将低分辨率的前景病理图像对应的空间注意分数作为权重将多个前景 病理图像对应的前 景病理图像特 征进行加权融合获得全扫描病理图像的融合特 征。 5.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1‑3任一项所述的 基于多尺度的全扫描病理特 征融合提取方法。 6.一种包含计算机可执行指令的存储介质， 所述计算机可执行指令在由计算机处理器 执行时实现如权利要求1 ‑3任一项所述的基于多尺度的全扫描病理特 征融合提取方法。权　利　要　求　书 2/2 页 3 CN 115063592 B 3