(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211026435.4 (22)申请日 2022.08.25 (71)申请人 西安交通大 学医学院第二附属医院 地址 710004 陕西省西安市新城区西五路 157号 (72)发明人 董彩霞　徐颂华　李宗芳　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 王艾华 (51)Int.Cl. G06V 10/77(2022.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于三维深度网络的血管图像分割方 法及系统 (57)摘要 本发明公开一种基于三维深度网络的血管 图像分割方法及系统， 将注意力引导的特征融合 模块、 尺度感知特征增强模块以及多尺度特征聚 合模块集成到U型编码器 ‑解码器中， 使用注意力 引导的特征融合模块代替传统的编、 解码阶段之 间的跳跃连接， 将尺度感知特征增强模块嵌入网 络最底部， 将多尺度特征聚合模块集成到解码路 径中； 通过注意力引导模块抑制不相关背景噪 声， 同时自适应地将血管的语义信息和空间信息 结合起来， 帮助血管与噪声分离； 通过一个并行 结构将不同的扩张率的卷积层应用到并行结构 分支上， 以获得具有不同接收域的更丰富的特征 映射； 通过计算不同尺度在空间中的重要性， 动 态调整这些层次特征以适应不同尺度的血管； 利 用多尺度特征聚合模块对多尺度特征图进行聚 合和精炼， 得到血 管图像分割结果。 权利要求书3页 说明书12页 附图3页 CN 115546570 A 2022.12.30 CN 115546570 A 1.一种基于三维深度网络的血管图像分割方法， 其特征在于， 基于多注意力、 多尺度的 三维深度网络， 所述三 维深度网络基于U 形编码器‑解码器， 将注意力引导的特征融合模块、 尺度感知特征增强模块以及多尺度特征聚合模块集成到U型编码器 ‑解码器的三维深度网 络中， 使用注意力引导的特征融合模块代替传统的编、 解码阶段之 间的跳跃连接， 将尺度感 知特征增强模块嵌入网络最底部， 将多尺度特征聚合模块集成到解码路径中； 包括以下步 骤： 编码器从血管图像中提取低级特征 解码器提取高级特征 将编码器中最后 一个阶段产生的特征图拆分为四个并行的特征组， 将四个配置了四种不同扩张率的扩张卷 积和软注意力机制部署于并行分支， 利用通道拼接所述四个分支特征得到 分层特征F； 将分 层特征F分别输入三个卷积层， 生成三个特征图Q、 K和V， 对特征图Q执行矩阵转置得到QT， 将 QT与特征图K进行矩阵相乘后， 输入softmax激活层， 得到矢状位和冠状位 的特征关系的编 码， 最后将编码结果与特征图V进行矩阵乘法后与分层特征F的残差连接， 得到像素级注意 增强特征； 将所述像素级注意增强特征和编码器中第四个阶段E4产生的特征输入注意力引导的特 征融合模块； 注意力引导的特征融合模块利用通道拼接将低级特征 和高级特征 结合， 通过 计算权重向量α 来精炼低级特征， 将精炼的低级 特征添加到高级 特征中， 得到融合特征F(i)； 融合特征F(i)作为解码器中第i个阶段的输入， i ＝1,2,3,4； 利用卷积层将解码器中四个阶段产生的特征进行通道压缩， 然后将相邻尺度的中高阶 段的特征上采样后与低阶段的特征进 行通道拼接， 再对拼接得到特征进 行软注意力引导操 作， 得到软注 意力引导后的特征输入到两个通道的卷积层， 最后通过sigmoid激活函数计算 得到相邻尺度特 征之间的聚集特 征， 即血管图像分割结果。 2.根据权利要求1所述的一种基于三维深度网络的血管图像分割方法， 其特征在于， 所 述利用通道拼接将低级特 征 和高级特 征 结合具体如下： 其中 为拼接操作； fu表示上采样 操作。 3.根据权利要求1所述的一种基于三维深度网络的血管图像分割方法， 其特征在于， 使 用平均池化信息激发特征通道信息， 并使用最大池化特征来保留信息； 然后使用共享多层 感知层经过两次池化操作， 将所 得结果输入Sigmo id函数， 得到 权重向量α： 其中fmlp表示MLP运算符； fgap表示全局平均池； fgmp表示全局最大池； fσ表示sigmoid激活 函数。 4.根据权利要求1所述的一种基于三维深度网络的血管图像分割方法， 其特征在于， 通 过在解码路径中逐步聚合相邻尺度特征来获得更多的血管全局语义表示， 从而能够精炼血 管图， 具体的， 将小尺度特 征的高级语义信息转移到大尺度特 征：权　利　要　求　书 1/3 页 2 CN 115546570 A 2其中 为拼接操作； 表示矩阵乘法； fu表示上采样操作； fσ表示sigmoid激活函数， fc″ 是卷积核为3 ×3×3的卷积运 算。 5.根据权利要求1所述的一种基于三维深度网络的血管图像分割方法， 其特征在于， 加 权交叉熵损失LWCE作为损失函数， 并向其中引入骰子相似系数损失LDSC， 其中α 为LWCE和LDSC之间的权 重平衡参数， 根据经验取值， ω为血管结构的权 重， 并且可以所有像素点的估计概 率pi获得： N表示像素点的数量， pi∈[0， 1]和gi∈0， 1分别表示预测的概率和背景真值ith像素的血 管结构， 拉普拉斯平 滑因子∈用于避免数值 不稳定问题和 加速训练过程的收敛。 6.根据权利要求1所述的一种基于三维深度网络的血管图像分割方法， 其特征在于， 多 尺度特征聚合模块中， 首先使用一个1 ×1×1的卷积， 将D4， D3， D2和D1特征图的通道数统一 压缩至8， 以减少后续运算的参数量， 四个阶段的通道压缩后的特征分别记为F4， F3， F2和F1； 然后将相邻尺度执行特征聚合操作； 相邻尺度执行特征聚合操作具体为， 首先对高阶段 的 特征F4上采样后与低阶段的特征F3进行通道拼接， 然后使用一个1 ×1×1的卷积和一个 sigmoid激活函数获得相邻尺度特征的注意力图与低阶段的特征F3执行矩阵相乘， 接着使 用一个3×3×3的卷积生成信息丰富、 详细的特征 对 上采样后传递给下一个尺度的 特征F2， 与下一个尺度的特征F2执行特征聚合操作， 获得 上采样后与特征F1执行特征 聚合操作， 获得 最后， 使用一个通道数为2的1 ×1×1的卷积和si gmoid激活函数得到多 尺度特征聚合模块的输出。 7.一种基于三维深度网络的血管图像分割系统， 其特征在于， 基于多注意力、 多尺度的 三维深度网络， 所述三维深度网络基于U形编码器 ‑解码器， 包括注意力引导的特征融合模 块、 尺度感知特征增强模块以及 多尺度特征聚合模块； 将注 意力引导的特征融合模块、 尺度 感知特征增强模块以及多尺度特征聚合模块集 成到U型编码器‑解码器的三维深度网络中，权　利　要　求　书 2/3 页 3 CN 115546570 A 3