(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111424611.5 (22)申请日 2021.11.26 (71)申请人 北京科技大 学 地址 100083 北京市海淀区学院路3 0号 (72)发明人 徐汝昊　谢淑磊　 (74)专利代理 机构 北京市广友专利事务所有限 责任公司 1 1237 代理人 张仲波 (51)Int.Cl. G06N 20/00(2019.01) H04L 9/00(2022.01) (54)发明名称 一种基于同态加密的分布式学习提升密文 计算效率方法 (57)摘要 本发明公开一种基于同态加密的分布式学 习提升密文计算效率方法， 包括如下步骤： 步骤 一： 每一个联邦学习局部端可以通过上行数据通 信模块与全局端建立通信； 步骤二： 根据联邦学 习的运行机制， 每个局部端需要利用本地数据进 行机器学习训练； 步骤三： 局部端通过更新机器 学习模型参数， 不断对损失函数进行优化， 直到 使得局部端的机器学习模型的损失函数值满足 要求； 步骤四： 使用同态加密将每个客户端的模 型参数进行加密操作， 加密过程使用多核并行方 式提高完全同态的引导效率； 步骤五： 将加密后 的密文上传至服务端， 服务端根据每个客户端的 模型梯度进行聚合然后分发至各个客户端。 本发 明适用于提高分布式学习提升密文计算效率。 权利要求书3页 说明书4页 附图2页 CN 114139721 A 2022.03.04 CN 114139721 A 1.一种基于同态加密的分布式学习提升密文计算效率方法， 其特征在于， 包括如下步 骤： 步骤一： 每一个联邦学习局部端可以通过上行数据通信模块与全局端建立通信， 并下 载全局端的初始化的机器学习模型； 步骤二： 根据联邦学习的运行机制， 每 个局部端需要利用本地数据进行机器学习训练； 步骤三： 局部端通过更新机器学习模型参数， 不断对损失函数进行优化， 直到使得局部 端的机器学习模型的损失函数值满足要求； 步骤四： 使用同态加密将每个客户端的模型参数进行加密操作， 加密过程使用多核并 行方式提高完全同态的引导效率； 步骤五： 将加密后的密文上传至服务端， 服务端根据每个客户端的模型梯度进行聚合 然后分发至各个客户端。 2.根据权利要求1所述的基于同态加密的分布式学习提升密文计算效率方法， 其特征 在于， 所述步骤一中的每一个联邦学习局部端可以通过上行数据通信模块与全局端建立通 信， 并下载全局端的初始化的机器学习模型； 具体如下： 假设有n个局部端{N1,N2,…,Ni,…Nn}参与本次联邦学习， 每个局部端都有自己的样本 数据， 每个局部端Ni的样本数据集表示 为： 其中， ‖ Ni‖ ＝‖ Ωi‖； 那么参与本次联邦学习的局部端的样本数据总量 为： 3.根据权利要求1所述的基于同态加密的分布式学习提升密文计算效率方法， 其特征 在于， 所述步骤二： 根据联邦学习的运行机制， 每个局部端需要利用本地数据进 行机器学习 训练； 具体如下： 定义任意局部端Ni所训练机器学习模型的损失函数为： 其中， ω表示机器学习模型的梯度矩阵， b表示机器学习模型的偏置向量， r(xj)表示将 样本数据xj输入初始化机器学习模型后的输出值， yj表示样本数据集xj的标签向量。 4.根据权利要求1所述的基于同态加密的分布式学习提升密文计算效率方法， 其特征 在于， 所述步骤三： 局部端通过更新机器学习模型参数， 不断对损失函数进行优化， 直到使 得局部端的机器学习模型的损失函数值满足要求； 具体如下： 选取以下公式作为局部端的机器学习模型参数的更新过程中的优化器； 因此， 局部端 的机器学习模型的权 重和偏置更新过程可记作： 权　利　要　求　书 1/3 页 2 CN 114139721 A 2其中， 其中， R表示局部端的机器学习模型的epoch数， lr表示局部端的机器学习模型的学习 率， ε表示一个极小的非零实数， 表示局部端i机器学习模型第R轮训练的梯度平方 的衰减平均值， 表示局部端i机器学习模型第R轮训练的偏置平方的衰减平均值， α 是一个(0,1)范围内的实数值。 5.根据权利要求1所述的基于同态加密的分布式学习提升密文计算效率方法， 其特征 在于， 所述步骤四： 使用同态加密将 每个客户端的模型参数进 行加密操作， 加密过程使用多 核并行方式提高完全同态的引导效率； 具体如下： 局部端通过更新机器学习模型参数， 不断对公式(3 ‑2)所示的损失函数进行优化， 直到 使得局部端的机器学习模型的损失函数值满足如下要求： ‖ li(ω,b)‖＜ δi 此时， 可得到局部端的机器学习模型如下 所示： 6.根据权利要求1所述的基于同态加密的分布式学习提升密文计算效率方法， 其特征 在于， 所述步骤五： 将加密后的密 文上传至服务端， 服务端根据每个客户端的模 型梯度进 行 聚合然后 分发至各个客户端； 具体如下： 通过使用同态加密方式进行加密， 组成FHE运算的 函数有四组： 1.多项 式之间的元素式RNS运算， 如NTT域中的模乘、 加法和减法， 2.NTT和NTT 的逆变换， 3.用于 ModUp的快速基转换(Co nv)4.键切换中的内积。 7.根据权利要求1所述的基于同态加密的分布式学习提升密文计算效率方法， 其特征 在于， 还包括： 步骤六： 将RNS操作称为二进制操作， 每个CPU线程接受两个带有余数的向量， 并执行N 次RNS操作； 然后， 线程(或多线程、 多核环 境中的另一个线程)获取另一对 具有N个剩余的两 个向量， 直到所有线程完成个RNS操作； 相为单个 GPU内核启动N个线程， 让每个 GPU线程执行 一个RNS操作。 8.根据权利要求1所述的基于同态加密的分布式学习提升密文计算效率方法， 其特征 在于， 还包括： 步骤七： 对于NTT的CPU实现， 使用与RNS操作相同的方法， 其中每个线程一次获取N个剩 余并执行NTT； 对于GPU实现， 我们使用分层NTT实现， 它大量利用GPU中的共享内存； 更具体权　利　要　求　书 2/3 页 3 CN 114139721 A 3