(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210936228.6 (22)申请日 2022.08.05 (71)申请人 广州大学 地址 510006 广东省广州市番禺区大 学城 外环西路23 0号 (72)发明人 方美娥　姚丹阳　温金玉　 (74)专利代理 机构 北京盛询知识产权代理有限 公司 11901 专利代理师 郭成文 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/50(2006.01) G06T 5/00(2006.01) G06V 10/42(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的多模态医学图像融合 方法 (57)摘要 本发明公开了一种基于深度学习的多模态 医学图像融合方法， 属于医学图像分析领域， 包 括： 输入三种不同模态的医学图像； 其中多模态 医学图像根据成像特征可分为解剖图像和功能 图像， 分别对解剖图像进行高、 低频特征信息提 取， 对功能图像同时进行高、 低频特征信息提取； 对解剖图像的特征信息进行频域转换， 得到频域 特征信息； 将频域特征信息与功能图像中提取的 空间特征信息进行融合， 基于融合结果输出融合 图像。 本发明通过 以上技术方案， 可以实现精确 对应各模态精确提取特征信息的三模态医学图 像融合。 权利要求书2页 说明书5页 附图2页 CN 115272261 A 2022.11.01 CN 115272261 A 1.一种基于深度学习的多模态医学图像融合方法， 其特 征在于， 包括以下步骤： 获取多模态医学图像； 其中所述多模态医学图像包括解剖图像和功能图像， 所述解剖 图像包括第一 解剖图像和第二 解剖图像； 对所述第一解剖图像和所述功能图像分别进行高频特征提取， 得到第 一高频特征信 息 和第二高频 特征信息； 对所述第二解剖图像和所述功能图像分别进行低频特征提取， 得到第 一低频特征信 息 和第二低频 特征信息； 对所述解剖图像的特征信息进行频域转换， 得到频域特征信息； 其中所述频域特征信 息包括第一高频 频域信息和第一低频 频域信息； 将所述频域特征信息与功能特征信息进行融合， 基于融合结果输出融合图像； 其中所 述功能特 征信息包括第二高频 特征信息和第二低频 特征信息。 2.根据权利要求1所述的基于深度学习的多模态医学图像融合方法， 其特征在于， 获取 多模态医学图像之前还过程包括： 获取多模态医学图像的训练集， 构建卷积神经网络， 通过所述训练集训练所述卷积神 经网络， 基于训练好的卷积神经网络， 匹配多模态医学图像。 3.根据权利要求2所述的基于深度学习的多模态医学图像融合方法， 其特征在于， 得到 第一高频 特征信息和第二高频 特征信息的过程包括： 基于训练好的卷积神经网络， 通过卷积操作、 批处理归一化， 对所述第 一解剖图像进行 高频特征提取， 得到第一高频 特征信息； 基于训练好的卷积神经网络， 通过卷积操作、 批处理归一化， 对所述功能图像进行高频 特征提取， 得到第二高频 特征信息。 4.根据权利要求1所述的基于深度学习的多模态医学图像融合方法， 其特征在于， 得到 第一低频 特征信息和第二低频 特征信息的过程包括： 基于训练好的卷积神经网络， 通过卷积操作、 批处理归一化及改变卷积通道， 对所述第 二解剖图像进行低频 特征提取， 得到第一低频 特征信息； 基于训练好的卷积神经网络， 通过卷积操作、 批处理归一化及改变卷积通道， 对所述功 能图像进行低频 特征提取， 得到第二低频 特征信息。 5.根据权利要求1所述的基于深度学习的多模态医学图像融合方法， 其特征在于， 得到 频域特征信息的过程包括： 将所述解剖图像的特征信 息从空间域转换到频率域， 并将所述解剖图像的特征信 息转 换为振幅值和不同频率下的相位， 得到频域特 征信息。 6.根据权利要求5所述的基于深度学习的多模态医学图像融合方法， 其特征在于， 将所 述解剖图像的特 征信息从空间域 转换到频率 域的过程还 包括： 将所述解剖图像提取的高、 低频信息转换为能量梯度， 消除周期性噪声。 7.根据权利要求1所述的基于深度学习的多模态医学图像融合方法， 其特征在于， 将所 述频域特 征信息与功能特 征信息进行融合的过程包括： 将所述第一高频频域信 息和所述第 二高频特征信 息进行融合求平均操作， 得到高频融 合信息； 将所述第一低频频域信 息和所述第 二低频特征信 息进行融合求平均操作， 得到低频融权　利　要　求　书 1/2 页 2 CN 115272261 A 2合信息。 8.根据权利要求7所述的基于深度学习的多模态医学图像融合方法， 其特征在于， 输出 融合图像的过程包括： 基于所述高频融合信息和所述低频融合信息， 通过均值计算、 卷积操作、 Tanh函数处 理， 输出融合图像。权　利　要　求　书 2/2 页 3 CN 115272261 A 3