(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211288149.5 (22)申请日 2022.10.20 (71)申请人 抖音视界有限公司 地址 100041 北京市石景山区实兴大街3 0 号院3号楼 2层B-0035房间 (72)发明人 杭卫强　张剑清　李晓光　林凡　 王森　 (74)专利代理 机构 北京世辉律师事务所 16 093 专利代理师 罗利娜 (51)Int.Cl. G06N 20/00(2019.01) G06K 9/62(2022.01) G06F 8/71(2018.01) (54)发明名称 用于联邦学习的方法、 装置、 设备和介质 (57)摘要 根据本公开的实施例， 提供了用于联邦学习 的方法、 装置、 设备和介质。 该方法包括： 在服务 节点处， 从客户端接收本地模型以及第一模型版 本信息， 本地模型在客户端处被训练； 基于第一 模型版本信息与全局模型的第二模型版本信息 之间的版本差异与版本差异阈值的比较来确定 本地模型是否要被聚合到全局模 型； 以及如果确 定本地模型不能被聚合到全局模 型， 向客户端发 送训练参数调整值和全局模型。 通过这样的方 案， 能够对 具有不同能力的客户端动态地调整适 合于自身的训练方案， 以充分利用客户端上的计 算资源。 权利要求书2页 说明书14页 附图7页 CN 115511103 A 2022.12.23 CN 115511103 A 1.一种联邦学习的方法， 包括： 在服务节点处， 从客户端接收本地模型以及第一模型版本信息， 所述本地模型在所述 客户端处被训练； 基于所述第一模型版本信息与全局模型的第二模型版本信息之间的版本差异与版本 差异阈值的比较来确定所述本地模型 是否要被聚合到全局模型； 以及 如果确定所述本地模型不能被聚合到全局模型， 向所述客户端发送训练参数调 整值和 所述全局模型。 2.根据权利要求1所述的方法， 还 包括： 基于所述第一模型版本信息与所述第二模型版本信息之间的所述版本差异来确定针 对所述客户端的所述训练参数调整值。 3.根据权利要求2所述的方法， 其中基于所述版本差异来确定针对所述客户端的所述 训练参数调整值包括： 基于所述版本差异与所述版本差异阈值之差来确定针对所述客户端的所述训练参数 调整值。 4.根据权利要求1所述的方法， 其中所述训练参数调整值被确定为使所述客户端所采 用的训练步数减小。 5.根据权利要求1所述的方法， 其中确定所述本地模型 是否要被聚合到全局模型包括： 如果所述版本差异超过所述版本差异阈值， 确定所述本地模型不能被聚合到全局模 型。 6.根据权利要求1至 5中任一项所述的方法， 还 包括： 从所述客户端接收与生成所述本地模型的训练轮次中的本地训练相关的信息； 以及 基于接收到的所述信息来确定所述本地模型对所述全局模型的贡献度。 7.根据权利要求6所述的方法， 其中所述信息包括以下至少一项： 在所述本地模型的训练完成时所述本地模型的损失值， 在训练轮次中用于训练所述本地模型的训练数据量， 在所述训练轮次中的训练步数。 8.根据权利要求6所述的方法， 还 包括： 如果确定所述本地模型要被聚合到所述全局模型， 基于所述贡献度来执行所述本地模 型与所述全局模型的聚合， 得到另一全局模型。 9.根据权利要求8所述的方法， 其中基于所述贡献度来执行所述本地模型与所述全局 模型的聚合包括： 基于所述贡献度来确定针对所述本地模型的聚合权 重； 以及 利用所述聚合权 重来加权聚合所述本地模型和所述全局模型。 10.一种联邦学习的方法， 包括： 在客户端处， 向服务节点发送本地模型以及第一模型版本信息， 所述本地模型在所述 客户端处被训练； 从所述服务节点接收训练参数调整值和全局模型； 基于所述训练参数调整值 来确定训练参数值； 以及 根据所述训练参数值 来训练所述全局模型， 以得到另一本地模型。权　利　要　求　书 1/2 页 2 CN 115511103 A 211.根据权利要求10所述的方法， 其中所述训练参数调整值基于所述第一模型版本信 息与所述全局模型的第二模型 版本信息之间的版本 差异被确定 。 12.根据权利要求10所述的方法， 还 包括： 基于所述训练参数调整值的接收确定所述本地模型 未被聚合到所述全局模型。 13.根据权利要求10所述的方法， 其中基于所述训练参数调整值来确定所述训练参数 值包括： 基于所述训练参数调整值 来确定用于训练所述全局模型的训练步数。 14.根据权利要求13所述的方法， 其中确定所述训练步数包括： 基于所述训练参数调整值来将用于训练得到所述本地模型的第一训练步数更新为第 二训练步数， 所述第二训练步数小于所述第一训练步数。 15.根据权利要求10 至14中任一项所述的方法， 还 包括： 向所述服务节点发送与生成所述本地模型的训练轮次中的本地训练相关的信息 。 16.根据权利要求15所述的方法， 其中所述信息包括以下至少一项： 在所述本地模型的训练完成时所述本地模型的损失值， 在训练轮次中用于训练所述本地模型的训练数据量， 在所述训练轮次中的训练步数。 17.一种用于联邦学习的装置， 包括： 接收模块， 被配置为从客户端接收本地模型以及第一模型版本信息， 所述本地模型在 所述客户端处被训练； 聚合确定模块， 被配置为基于所述第 一模型版本信 息与全局模型的第 二模型版本信 息 之间的版本差异与版本差异阈值的比较来确定所述本地模型是否要被聚合到全局模型； 以 及 发送模块， 被配置为如果确定所述本地模型不能被聚合到全局型， 向所述客户端发送 训练参数调整值和所述全局模型。 18.一种用于联邦学习的装置， 包括： 发送模块， 被配置为向服务节点发送本地模型以及第一模型版本信息， 所述本地模型 在所述客户端处被训练； 接收模块， 被 配置为从所述 服务节点接收训练参数调整值和全局模型； 参数确定模块， 被 配置为基于所述训练参数调整值 来确定训练参数值； 以及 训练模块， 被 配置为根据所述训练参数值 来训练所述全局模型， 以得到另一本地模型。 19.一种电子设备， 包括： 至少一个处 理单元； 以及 至少一个存储器， 所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于 由所述至少一个处理单元执行的指 令， 所述指 令在由所述至少一个处理单元执行时使 所述 设备执行根据权利要求1至9中任一项所述的方法或根据权利要求10至16中任一项所述的 方法。 20.一种计算机可读存储介质， 其上存储有计算机程序， 所述计算机程序被处理器执行 以实现根据权利要求1至9中任一项所述的方法或根据权利要求10至16中任一项所述的方 法。权　利　要　求　书 2/2 页 3 CN 115511103 A 3