(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211154445.6 (22)申请日 2022.09.22 (71)申请人 杭州影想未来科技有限公司 地址 311200 浙江省杭州市萧 山区经济开 发区建设二路666号信息港6期1幢309 室 (72)发明人 李明奎　姚劲草　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 吴昌榀 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/13(2017.01) G06T 5/00(2006.01)G06T 5/20(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于 形状先验U-Net的医学图像分割方 法 (57)摘要 本发明涉及医学图像信息处理领域， 公开了 一种基于形状先验U ‑Net的医学图像分割方法， 所述方法包括： 基于采集的医学图像构建训练 集、 验证集和测试集， 对结节区域进行像素级别 的语义勾画； 数据预处理； 构建U ‑Net基础网络、 跃层注意力机制和带形状先验的Softmax计算模 块， 最后通过识别网络输出结果。 本发明通过建 立新颖的跃层注意力机制结构、 带形状先验的 Softmax计算模块、 活动轮廓感知损失函数， 克服 了现有方法对 结节区域分割结果不连续， 结节的 边界语义分辨能力差的问题， 解决了因结节区域 与背景较为相似、 边界不清晰的结节医学图像语 义概率热图提取效果 不佳等问题。 权利要求书3页 说明书6页 附图6页 CN 115239716 A 2022.10.25 CN 115239716 A 1.一种基于形状先验U ‑Net的医学图像分割方法， 其特 征在于， 包括以下步骤： S1： 采集含有结节的超声、 CT、 钼靶医学图像作为原始图像， 基于采集的原始图像建立 图像训练集、 验证集和 测试集， 并对各个图像集 合中的结节区域进行勾画； S2： 建立图像预处 理模块， 图像预处 理模块对输入的原 始图像进行 预处理； S3： 构建深度学习U ‑Net基础网络模块， 深度学习U ‑Net基础网络模块对图像预处理模 块预处理后的图像依次进行 特征提取； S4： 构建跃层注意力机制模块， 跃层注意力机制模块将U ‑Net基础网络模块提取的浅层 特征图上采样并进行1 ×1卷积生成注意力图， 并与深层特 征相乘； S5： 构建带形状先验的Soft max计算模块， Soft max计算模块针对U ‑Net基础网络模块的 输出进行计算， 输出修 正概率特征图； S6： 建立识别网络模块， 识别网络模块基于Softmax计算模块的输出结果计算输出该识 别网络模块的语义 概率热图与损失函数值； S7： 建立活动轮廓识别 网络分支模块， 活动轮廓识别网络分支模块基于跃层注意力机 制模块的输出 结果计算该活动轮廓识别网络分支模块的语义 概率热图； S8： 建立活动轮廓感知损失函数， 活动轮廓感知损失函数结合图像训练集中的结节区 域勾画结果训练各个模块， 训练完成后固化各个模块的网络参数 形成完整模型； S9： 使用所述完整模型对新输入的结节图像进行处理， 获取结节区域最终语义概率热 图。 2.如权利要求1所述的医学图像分割方法， 其特征在于， 步骤S2中， 对输入的原始图像 进行预处理具体包括： 对输入的原始图像进 行自适应中值滤波， 并对原始图像进 行裁剪， 去 除多余信息 。 3.如权利要求1所述的医学图像分割方法， 其特征在于， 步骤S3中， 构建的深度学习U ‑ Net基础网络模块包括24层网络， 网络内部层编号为第1至16层， 其中第1、 2、 4、 5、 7、 8、 10、 11、 13、 14层为卷积核大小3 ×3， 步长1的卷积层； 第  3、 6、 9、 12层为池化层， 使用最大值池 化， 池化尺寸为2 ×2， 步长为1； 第15、 18、 21、 24为卷积核大小2 ×2， 步长1的反卷积层； 第16、 17、 19、 20、 22、 23层为卷积核大小3 ×3， 步长1的卷积层； 所有卷积层激活函数均使用ReLU函 数。 4.如权利要求3所述的医学图像分割方法， 其特征在于， 步骤S4中跃层注意力 机制模块 将U‑Net基础网络模块提取的浅层特征图上采样 并进行1×1卷积生成注意力图， 并与深层 特征相乘包括： 跃层注意力机制模块对U ‑Net基础网络模块第2、 5、 8、 10层输出的特征图进 行双线性上采样并进行1 ×1卷积生成注意力图， 并与深层特 征相乘。 5.如权利要求4所述的医学图像分割方法， 其特征在于， 步骤S4中跃层注意力 机制模块 对U‑Net基础网络模块第2、 5、 8、 10层输出的特征图进 行双线性上采样并进行1 ×1卷积生成 注意力图， 并与深层特征相 乘具体包括： 第24、 25、 26、 27层为1倍、 2倍、 4倍、 8倍双线性上采 样后接卷积核大小1 ×1， 步长1的卷积层； 将第24、 25、 26、 27层输出的特征图在通道维进行 堆叠， 与第23层输出的特 征图进行 逐点相乘。 6.如权利要求5所述的医学图像分割方法， 其特征在于， 步骤S5中构建带形状先验的 Softmax计算模块包括： 针对所述跃层注意力机制 模块中的输出特征图构建带形状先验的 Softmax计算模块；权　利　要　求　书 1/3 页 2 CN 115239716 A 2Softmax计算模块针对U ‑Net基础网络模块的输出进行计算， 输出修正概率特征图包 括： 原始Softmax函数 可作为泛函的解： 其中， 为跃层注意力机制模块中的输 出特征图， 同时也为Softmax激活函数的输入， 为激活函数的输出， 代表所需要分类的总类别数， 加入 形状先验正则项后原始Softmax函 数的求解过程改写为： 其中 为卷积符号， 为给定的权重函数， 正则项 ， 初始 化令 ， 通过 对 进行迭代直到给 定迭代步数或收敛， 返回分割热图 即为针对所述输出特征图进行计算输出修正概率特征 图。 7.如权利要求6所述的医学图像分割方法， 其特征在于， 步骤S6中， 建立的识别网络模 块包括语义概率热图输出网络与交叉熵损失函数， 语义概率热图输出网络具体包括1层 Softmax网络， 网络内部编号为第28层， 针对输出的语义概率热图构建交叉熵损失函数并计 算损失函数值。 8.如权利要求6所述的医学图像分割方法， 其特征在于， 步骤S7中， 建立活动轮廓识别 网络分支模块具体包括： 针对跃层注意力机制模块的输出结果建立活动轮廓识别网络 分支 模块， 共包括2层网络， 内部编号为第29、 30层， 第29层为卷积核大小3 ×3， 步长1的卷积层， 第30层为原始Softmax层。 9.如权利要求8所述的医学图像分割方法， 其特征在于， 步骤S8中， 建立活动轮廓感知 损失函数， 结合图像训练集中的结节区域勾画结果训练各个模块具体包括： 基于Softmax交 叉熵构建一种活动轮廓 感知损失函数， 并结合训练集结节语义勾 画结果训练网络； 所述活 动轮廓感知损失函数的计算公式为： 其中权　利　要　求　书 2/3 页 3 CN 115239716 A 3