(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111471753.7 (22)申请日 2021.12.02 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 许京爽　朱皞罡　杨汀阳　 (74)专利代理 机构 北京慧泉知识产权代理有限 公司 11232 代理人 王顺荣　唐爱华 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/776(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06T 7/00(2017.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 一种基于模型相似性衡量的联邦学习影像 分割方法 (57)摘要 本发明公开一种基于模型相似性衡量的联 邦学习影像分割方法， 步骤 一： 选用U ‑Net网络架 构和Deeplab  v3+网络架构作为各参与方本地训 练时采用的网络模型； 步骤二： 提出模型相似性 概念， 设计模型相似性衡量算法， 结合联邦学习 的思想应用到主动脉影像分割中； 步骤三： 根据 选定的损失函数交互方式， 进行网络训练。 本发 明方法比传统的联邦学习方法稳健性更高， 收敛 效果更明显， 提升了准确率、 平滑性、 普适性； 并 且能够更好地应对数据分布不同且过拟合的情 况， 为后续联邦学习在各种场景下的应用提供一 种新思路， 打下 更坚实的基础。 权利要求书1页 说明书7页 附图6页 CN 114399637 A 2022.04.26 CN 114399637 A 1.一种基于模型相似性衡量的联邦学习影 像分割方法， 其特 征在于： 该 方法过程如下： 步骤一： 选择网络结构 选用U‑Net网络架构和Deeplab  v3+网络架构作为各参与方本地训练时采用的网络模 型， U‑Net包含了全卷积 ‑反卷积网络层， De eplab v3+采用编码器 ‑解码器的结构； 步骤二： 选择参与方之间的交 互方式 提出模型相似性概念， 设计一种模型相似性衡量算法， 结合联邦学习的思想应用到主 动脉影像分割中； 所述的模型相似性衡量算法是通过模型之间参数的差异来衡量模型相似性， 通过学习 其他参与方主体的模 型参数， 来向其他模型靠近， 增强模型相似性； 主要体现在损失函数的 计算方式上， 该损失函数计算公式如下： 这里Lossl为参与方l当前模型训练的损失函数， 为交叉熵损失函数， xi为参与方l的 本地训练数据， yi为该数据的Ground ‑Truth， α 为当前模型的参数， αk为第k个其他参与方的 模型参数， μ1为超参数， L为当前参与方总个数； αl为参与方l本地的训练参数， 参数差异越 大， 的值越大； 步骤三： 根据选 定的损失函数交 互方式， 进行网络训练。 2.一种基于模型相似性衡量的联邦学习影 像分割方法， 其特 征在于： 步骤一： 选择网络结构 选用U‑Net网络架构和Deeplab  v3+网络架构作为各参与方本地训练时采用的网络模 型， U‑Net包含了全卷积 ‑反卷积网络层， De eplab v3+采用编码器 ‑解码器的结构； 步骤二： 选择参与方之间的交 互方式 提出模型相似性概念， 设计一种模型相似性衡量算法， 结合联邦学习的思想应用到主 动脉影像分割中； 通过学习其他参与方主体的模型参数， 来向其他模 型靠近， 增强模型相似 性； 所述的模型相似性衡量算法， 通过模型表现结果的差异 来衡量模 型相似性程度， 损失函 数计算公式如下： 其中fk为参与方主体k 当前的模型， 因为模型的参数 都进行了传递， 模型也是确定的， 因 此可以得到参与方主体k当前训练的模型， 使用本参与方主体k的训练数据， 能够得到当前 训练数据在其 他参与方模型 上的表现， 与本参与方主体k模型 结果进行交叉熵 计算； 步骤三： 根据选 定的损失函数交 互方式， 进行网络训练。权　利　要　求　书 1/1 页 2 CN 114399637 A 2一种基于模型相似性衡 量的联邦学习 影像分割方 法 技术领域 [0001]本发明提出一种基于模型相似性衡量的联邦学习影像分割方法， 涉及联邦学习在 影像数据 处理的应用， 尤其是医疗图像分割技术领域， 提出一种联邦学习模式下 的新的模 型相似性衡量 算法， 来实现影 像图像分割。 背景技术 [0002]深度学习 发展的六十年来， 给医疗领域带来了很多新的机遇， 分别在医疗辅助诊 断系统、 信息化分析、 医学影像识别、 基因与医疗大数据等方面有所应用， 在放射性、 病理 学、 基因学等方面都有显著的突破与创新。 而深度学习 可以执行很多人类无法完成的目标 和任务， 离不开对大数据集的学习。 2017年的 《中华人民共和国网络安全法》 对于网络数据 的收集处理有着严格的管控要求， 也就是说机构之间无法通过数据合并来得到大量的数 据， 尤其是医疗领域， 涉及患者的隐私安全性问题， 数据孤岛问题开始出现， 成为该领域发 展的一大阻力与瓶颈 。 [0003]针对这样的数据孤岛问题， 联邦学习应运而生。 随着时代的快速发展， 人们在满足 自身要求的同时， 更多地开始关注自己的个人信息是否能够得到妥善的保存而避免泄漏， 特别是在医疗领域， 涉及到人 的数据都需要考虑到隐私与安全性， 患者对于基本的疾病诊 断需求外， 也会考虑自己的检查数据、 影像图像数据是否能够得到 保护， 是否存在风险会暴 露出去以至于侵犯到自己的隐私权， 这就是非常典型 的数据孤岛问题。 某一个医疗单位的 患者数据和疾病种类有限， 数量有限且覆盖面也不广， 但由于隐私安全的问题， 无法通过多 家医疗单位合作， 将数据混合起来得到一个大数据样本量， 没有大样本量对一些深度学习 方法来说会影响其表现效果， 医疗领域对于表现效果精度要求有比较高， 因此， 数据孤岛 问 题在医疗领域 面临的瓶颈尤其显著。 [0004]而联邦学习的目标就是旨在搭建一个能够学习分散式数据集的模型， 满足数据集 可以分散在不同的机构单位， 且 数据之间不存在交互， 各自保存在机构本地， 也就是避免了 数据的泄露的风险， 保护了数据参与者的 隐私与安全性， 同时能够学习出相关任务的模型， 达到拥有大 数据集的模型训练效果。 [0005]随着CT成像技术的发展， 主动脉CT血管造影技术(CT ‑Angiography,CTA)在常见的 主动脉疾病诊断中发挥着积极的作用， 为临床研究提供了丰富的定位和定位数据， 在这样 的技术发展下， 更多机器代替人工的前期准备工作可以进行， 因此， 很多相关的深度学习语 义分割模 型被运用到影像分割中来。 针对于主动脉的CT影像图来进 行图像分割的任务是非 常有意义的， 主动脉是人体内最大的动脉血管， 包含很多种类型的疾病， 比较常见的为主动 脉的动脉瘤以及主动脉夹层， 尤其是主动脉夹层， 发病率每年为十万分之一至二十万分之 一， 每个医疗单位的该病数量均不多， 65％～70％在急性期死于心脏压塞、 心律失常等， 故 早期诊断和治疗非常必 要。 而单患者的主动脉CT影像数量多， 对其进 行图像分割， 可以帮助 医生减轻 前期的定位筛查工作， 更多专 注于疾病的发现与诊 治。 [0006]为了解决医疗场景下的数据孤岛困境， 本发明以联邦学习的模式进行深度学习任说　明　书 1/7 页 3 CN 114399637 A 3