(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111488234.1 (22)申请日 2021.12.07 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 申请人 国网河北省电力有限公司信息通信 分公司　 国家电网有限公司 (72)发明人 蔡尚宣　王晓飞　胡清华　仇超　 陈连栋　程凯　杨柳　赵云凤　 刘志成　 (74)专利代理 机构 济南光启专利代理事务所 (普通合伙) 37292 代理人 张瑜 (51)Int.Cl. G06N 20/00(2019.01)G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多粒度联邦学习的方法 (57)摘要 本发明公开了一种基于多粒度联邦学习的 方法， 包括： S1， 基于联邦 学习建立包括客户端和 服务器的多粒度学习系统， 客户端包括粗粒度设 备和细粒度设备， 服务器中设有 图像参数模型； S2， 设置初始迭代轮数t＝0、 学习轮数T， 初始化 初始模型参数， 客户端将共享样本发送服务器； S3， 判断t＜T， 如果是， 执行S4， 否则学习结束； S4， 执行t＝t+1， 客户端利用本地数据对模型进 行训练， 将模 型参数和本地模型准确率发送服务 器； S5， 服务器根据模型参数判断， 若为细粒度模 型， 用同粒度联邦学习方法聚合， 若为粗粒度模 型， 用交叉指导方法聚合， 聚合后执行S6； S6， 服 务器将聚合后的模型发送客户端并返回S3。 本发 明可以提高粗粒度模型提取图像特 征的能力。 权利要求书3页 说明书9页 附图4页 CN 114154647 A 2022.03.08 CN 114154647 A 1.一种基于多粒度联邦学习的方法， 其特 征在于， 包括如下步骤： S1， 基于联邦学习建立包括客户端和服务器的多粒度学习系统， 所述客户端包括粗粒 度设备和细粒度设备， 且服 务器中设有图像参数模型； S2， 设置初始迭代轮数t＝0、 学习轮数T、 阶段判断值τ、 跨粒度频值θ， 初始化图像参数 模型的初始模型参数 客户端通过服务器下载图像参数模型， 并将 客户端的共享样本发 送至服务器； S3， 判断t＜ T， 如果是， 执 行步骤S4， 否则图像参数模型 学习结束； S4， 执行t＝t+1， 客户端利用本地数据对图像参数模型进行训练， 训练好后利用随机梯 度下降法计算模型参数 并将模型参数 和本地模型准确率Ai发送至服 务器； S5， 服务器对接收到的图像参数模型进行判断， 如果接 收到的模型参数 所对应的模 型为细粒度模 型， 采用同粒度联邦学习方法对图像参数模型进 行聚合， 聚合后执行步骤S 6， 如果接收到的模型参数 所对应的模型为粗粒度模型， 采用交叉指导方法对图像参数模 型进行聚合， 聚合后再 执行步骤S6； S6， 服务器将聚合后的图像参数模型发送至客户端， 并返回步骤S3 。 2.根据权利要求1所述的基于多粒度联邦学习的方法， 其特征在于， 在步骤S4中， 所述 利用随机梯度下降法计算模型参数 的计算公式为： 式中， ηl表示学习率， 表示t‑1轮时模型参数为 的图像参数模型所对应的 损失函数的梯度。 3.根据权利要求1所述的基于多粒度联邦学习的方法， 其特征在于， 在步骤S5中， 所述 采用交叉指导方法对图像参数模型进行聚合包括如下步骤： I， 判断t＜τ， 如果是， 采用同粒度 联邦学习方法对图像参数模型进行聚合， 聚合后执行 步骤S6， 否则执 行步骤II； II， 判断θ/t是否为整数， 如果是， 采用同粒度联邦学习方法对图像参数模型进行 聚合， 聚合后执 行步骤S6， 否则执 行步骤III； III， 采用跨粒度联邦学习方法对图像参数模型进行聚合。 4.根据权利要求3所述的基于多粒度联邦学习的方法， 其特征在于， 所述步骤III包括 如下步骤： ①利用粗细粒度类别对应矩阵将细粒度模型的输出转换到粗粒度模型的输出维度， 并 基于粗粒度模型的共享样本计算细粒度模型的转换准确率； ②将细粒度模型的转换准确率和细粒度模型的本地准确率进行比较， 选择出差值最大 且大于零的细粒度模型作为 粗粒度模型的指导模型； ③利用步骤 ②选出的指导模型通过调整损失函数的方式对粗粒度模型进行指导。 5.根据权利要求4所述的基于多粒度联邦学习的方法， 其特征在于， 所述细粒度模型的 转换准确率的计算公式为：权　利　要　求　书 1/3 页 2 CN 114154647 A 2式中， 表示第i个客户端 发送至服务器的共享样本 的标签， 且 表示粗粒 度设备的集合， wm表示第m个细粒度设备所输出的图像参数模 型的模型参数， 表示第i个 客户端的共享样本 中的第r个样本， 表示第i个客户端的共享样本 中的第r个样本 的标签， 表示细粒度模型的转换准确率， 表示第m个细粒度设备的 共享样本 中的第r个样本经过第m个图像参数模型的输出 向量， 为指示函数， H表示粗 细粒度类别对应矩阵， 表示第i个客户端的共享样本 的尺寸， 表示细粒度设备的 集合。 6.根据权利要求4所述的基于多粒度联邦学习的方法， 其特征在于， 所述利用选出的指 导模型调整损失函数的公式为： 式中， λ表示超参数， 表示额外损失项也即粗粒度模型和细粒度模型在 分类层的前一层的输出差异， 表示各粗粒度设备的本地计算 损失， Ni表示第i个客户端中的数据尺寸， N表示粗粒度设备的数量， xi,j表示第i个客户端的 本地数据xi的第j个样本， yi,j表示第i个客户端的本地数据xi的第j个样本的标签， 表示 第i个客户端的共享样本 中的第j个样本， 表示第i个客户端的共享样本 中的第j个 样本的标签。 7.根据权利要求6所述的基于多粒度联邦学习的方法， 其特征在于， 所述额外损失项 的计算公式为： 式中， 表示模型参数为wi的图像参数模型的倒数第二层也即分类层的前一 层的输出， 表示第i个客户端的共享样本 中的第k个样本， wh(i)表示用于指导第i个粗 粒度模型的细粒度模型的模型参数， 表示第i个客户端的共享样本 的尺寸。 8.根据权利要求3所述的基于多粒度联邦学习的方法， 其特征在于， 所述采用同粒度联权　利　要　求　书 2/3 页 3 CN 114154647 A 3