(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111447303.4 (22)申请日 2021.11.30 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 汪秀敏　陈帅　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 代理人 周春丽 (51)Int.Cl. G06N 20/00(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 21/62(2013.01) (54)发明名称 一种基于异构资源之上的联邦学习训练和 预测方法及系统 (57)摘要 本发明公开一种基于异构资源之上的联邦 学习训练和预测方法及系统， 所述方法包括如下 步骤： 服务端确定卷积神经网络模 型的学习任务 和预测函数； 使用联邦学习训练机器学习模型， 对联邦学习场景中异构设备的计算和通信资源 进行建模， 根据边缘设备训练过程的所产生的延 时来不断估计， 并区分不同设备的资源异构特 征， 并提出两种策略以适应性地去调整联邦学习 每轮选择边缘设备的方式以及训练过程为边缘 设备所设置的训练强度， 以充分利用高性能边缘 设备的计算资源， 减少通信、 以及掉队边缘设备 所带来的影 响， 本发明能够估计异构设备的差异 性， 并加快联邦学习训练的速度， 对训练过程进 行优化， 同时能保护多参与方的数据隐私。 权利要求书3页 说明书9页 附图2页 CN 114219097 A 2022.03.22 CN 114219097 A 1.一种基于异构资源之上的联邦学习训练和预测方法， 其特 征在于， 包括如下步骤： S1、 服务端确定卷积神经网络模型的学习任务和预测函数； S2、 参数服务器初始化神经网络模型参数， 以及各个边缘设备的MAB模型参数； 随机选 择若干设备， 向每 个被选中设备发布预设的卷积神经网络模型参数； S3、 设备利用本地数据训练服 务器发来的模型参数后将训练结果返回给服 务端； S4、 参数服务器在收到满足条件的本地模型参数后， 利用设备训练所产生的信息来更 新卷积神经网络的全局模型参数； S5、 服务器根据MAB模型， 从候选边缘设备列表中选择部分边缘设备进行本地模型训 练； S6、 利用被选的边缘设备的MAB模型， 为被选中的边缘设备设置训练强度， 并回到步骤 S3， 直到全局模型聚合的次数到 达预设的数目。 2.根据权利要求1所述的一种基于异构资源之上的联邦学习训练和预测方法， 其特征 在于， 步骤S1中包括以下步骤： S11、 模型初始化： 初 始化卷积神经网络模型参数； 边缘 设备i的模型参数为wi， 服务器的 全局模型参 为数w； S12、 设置训练任务和预测函数： 定义特征空间X和标签集合Y＝{1， ···， B}， B为标签 总数； 设(x,y)表示标记样本， x∈X,y∈Y； 设置预测函数， 用于根据输入的特 征信息预测对应的结果： fw:X→S S＝{z|∑j∈Yzj＝1,zj≥0} 式中， S表示为每个样本对应不同标签的概率向量， zj表示样本归类为标签j的概率， w为 预测函数的参数， 即训练的模型参数； 函数fw为每个样本产生的概 率向量； S13、 预测函数的损失函数定义 为交叉熵： 其中p表示真实的概 率分布， 为预测样本x属于第j类标签的概 率。 3.根据权利要求1所述的一种基于异构资源之上的联邦学习训练和预测方法， 其特征 在于， 利用联邦学习训练卷积神经网络模型模型， 训练内容具体包括： 服务器和边缘设备的 通信内容(w, τ )和(wi,tc)， 其中w为 预测函数的全局的参数， τ表示服务端为边缘设备 设置的 训练强度， wi表示边缘设备i所训练出来的本地参数， tc表示边缘设备执行本地训练所耗费 的时间。 4.根据权利要求1所述的一种基于异构资源之上的联邦学习训练和预测方法， 其特征 在于， 步骤S 5包括： 参数服务器利用MAB模 型估计设备计算、 通信资源的异构性， 并据此从候 选边缘设备列表中选择部分边 缘设备进行本地模型训练， 具体包括： 参数服务器为每个边缘设备i维护关于计算能力和通信能力的MAB模型参数： Δi分别表示计算能力的经验均值、 通信能力的经验均值、 和用于估计UCB上界的信息参数；权　利　要　求　书 1/3 页 2 CN 114219097 A 2其中， ni表示设备i至今被选中的次数， k＝ni 为设备i通信能力的一次观测值， 为 设备i计算能力的一次观测值， M为边缘设备的总数； 设备i的计算能力的上界 表示为： 每个设备i的通信能力的上界 表示为： 在获取到每个设备的计算能力和通信能力的上界， 定义每个设备的奖励ri： μ1、 μ2表示为奖励设置中计算能力和通信能力的权 重参数； 以各个设备的奖励作为被选中的权重， 随机从候选的设备列表中选出若干设备， 选择 的设备个数和当前 活跃的设备数即当前正处于训练的设备数之和等于C， 且不含重复设备； 具体方式采用轮盘赌算法， 首先计算所有设备权重的总和sum， 生成从0 ‑sum之间的一个随 机数random， 然后遍历所有的设备， 将sum减去设备的权重， 直到减为负数时该设备被选择 中， 将此设备从中剔除， 反复执 行上述选择 方法， 得到被选中的设备列表。 5.根据权利要求1所述的一种基于异构资源之上的联邦学习训练和预测方法， 其特征 在于， 参数服务器使用适应性或固定策 略， 利用被选的边缘设备的bandit模型为边缘设备 设置训练强度 τ。 6.根据权利要求5所述的一种基于异构资源之上的联邦学习训练和预测方法， 其特征 在于， 所述 适应性策略为： 服 务端维护全局的平均训练能力参数 其中M为边缘设备的总数； 在选中的边 缘设备列表中， 训练强度的设置方式为： 其中， τ0为初始强度， 为设备i的计算能力的上界。 7.根据权利要求5所述的一种基于异构资源之上的联邦学习训练和预测方法， 其特征 在于， 固定策略包括： 若服务端在t时进行全局更新那下次全局更新的时机为t+T， 对被选中 的每个边缘设备i， 训练强度的设置为： 权　利　要　求　书 2/3 页 3 CN 114219097 A 3