(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211098758.4 (22)申请日 2022.09.09 (65)同一申请的已公布的文献号 申请公布号 CN 115186937 A (43)申请公布日 2022.10.14 (73)专利权人 闪捷信息科技有限公司 地址 310000 浙江省杭州市余杭区五常街 道文一西路9 98号5幢6 08室 (72)发明人 张黎　刘维炜　陈广辉　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 刘广 (51)Int.Cl. G06F 17/00(2019.01) G06Q 10/04(2012.01)G06Q 50/06(2012.01) H02J 3/00(2006.01) G06K 9/62(2022.01) (56)对比文件 CN 113822414 A,2021.12.21 CN 112101547 A,2020.12.18 CN 114154646 A,202 2.03.08 审查员 王永贵 (54)发明名称 基于多方数据协同的预测模 型训练、 数据预 测方法和装置 (57)摘要 本发明提供一种基于多方数据协同的预测 模型训练、 数据预测方法和装置， 通过在每轮全 局训练过程中， 各电力部门系统在本地对用电量 预测模型进行训练得到模型参数训练值的同时， 还确定用电量预测模型的候选剪枝参数， 以供数 据中心对各电力部门系统传递的模型参数训练 值进行聚合， 得到当前参数值， 并基于各电力部 门系统传递的候选剪枝参数确定实际剪枝参数， 使各电力部门系统在进行本地训练时可以不必 考虑上述实际剪枝参数， 降低了需要进行参数更 新的参数量， 降低了训练难度和训练成本； 同时， 当各电力部门系统生成的新一轮的模型参数训 练值仅包含除当前轮对应的实际剪枝参数以外 的其他参数的参数值， 降低了数据中心与各电力 部门系统之间的通信开销。 权利要求书3页 说明书13页 附图3页 CN 115186937 B 2022.11.22 CN 115186937 B 1.一种基于多方 数据协同的预测模型训练方法， 其特 征在于， 包括： 各电力部门系统拉取协同方数据后， 在本地将本部门电力数据与协同方数据进行数据 对齐， 并构建训练数据； 在当前轮全局训练时， 各电力 部门系统基于所述训练数据在本地对用电量预测模型进 行训练， 得到模型参数训练值， 并确定所述用电量预测模型的候选剪枝参数； 各电力部门系 统将所述模型参数训练值和所述 候选剪枝参数传送至数据中心； 数据中心对各电力部门系统传递的模型参数训练值进行聚合， 得到当前参数值， 基于 各电力部门系统传递的候选剪枝参数确定实际剪枝参数， 并将所述当前参数值以及实际剪 枝参数传递给各电力部门系统， 开启下一轮全局训练； 各电力部门系统在下一轮全局训练 时， 会将所述当前参数值作为所述用电量预测模型的初始参数值并将所述实际剪枝参数置 0； 所述训练数据包括测试集和训练集； 其中， 所述测试集中的每个训练样本中协同方数 据所在位置被置为0； 所述基于所述训练数据在本地对用电量预测模型进行训练， 得到模型参数训练值， 并 确定所述用电量预测模型的候选 剪枝参数， 具体包括： 基于所述训练集对所述用电量预测模型进行本地多轮迭代训练， 得到所述用电量预测 模型在当前轮全局训练的模型参数训练值； 基于所述测试集对所述用电量预测模型进行本地多轮迭代训练， 确定所述用电量预测 模型中所有未剪枝参数在每一轮本地训练的参数值， 并将每一轮本地训练的参数值的参数 值变化幅度小于预设阈值的未剪枝参数作为当前轮全局训练的候选 剪枝参数； 所述基于各电力部门系统传递的候选 剪枝参数确定实际剪枝参数， 具体包括： 获取各电力部门系统传递的候选 剪枝参数对应的参数值变化幅度； 将各电力部门系统传递的参数值变化幅度小于全局阈值的候选剪枝参数作为实际剪 枝参数， 和/或， 将各电力部门系统传递的重复次数超过预设次数的候选剪枝参数作为 实际 剪枝参数。 2.根据权利要求1所述的基于多方数据协同的预测模型训练方法， 其特征在于， 在 当前 轮全局训练时， 所述用电量预测模型的模型参数矩阵被分解为固定子矩阵和待优化子矩 阵； 所述固定子矩阵在各电力部门系统之间共享； 各电力部门系统在本地训练得到的所述 模型参数训练值为所述待优化子矩阵中各参数的参数值， 确定得到的候选剪枝参数为所述 待优化子矩阵中的参数。 3.根据权利要求2所述的基于多方数据协同的预测模型训练方法， 其特征在于， 所述基 于所述训练集对所述用电量预测模型进行本地多轮迭代训练， 得到所述用电量预测模型在 当前轮全局训练的模型参数训练值， 具体包括： 基于当前轮本地训练中所述待优化子矩阵的当前值与 所述固定子矩阵， 确定所述用电 量预测模型的模型参数矩阵的当前值； 基于所述模型参数矩阵的当前值和所述训练集中的 当前轮训练样本进行预测， 得到当前轮训练样本的预测结果， 并基于当前轮训练样本的预 测结果与当前轮训练样本的标签值之 间的差异对所述待优化子矩阵进 行参数值更新， 得到 更新后的待优化子矩阵用于进行 下一轮本地训练； 待所有轮本地训练结束后， 将最后更新得到的待优化子矩阵中各参数的参数值作为当权　利　要　求　书 1/3 页 2 CN 115186937 B 2前轮全局训练的模型参数训练值。 4.根据权利要求3所述的基于多方数据协同的预测模型训练方法， 其特征在于， 所述基 于所述测试集对所述用电量预测模型进行本地多轮迭代训练， 确定所述用电量预测模型中 所有未剪枝参数在每一轮本地训练的参数值， 并将每一轮本地训练的参数值的参数值变化 幅度小于预设阈值的未剪枝参数作为当前轮全局训练的候选 剪枝参数， 具体包括： 获取所述待优化子矩阵中所有未剪枝参数在每一轮本地训练的参数值， 并将所述待优 化子矩阵中每一轮本地训练的参数值的参数值变化幅度小于预设阈值的未剪枝参数作为 当前轮全局训练的候选 剪枝参数。 5.根据权利要求1至4任一项所述的基于多方数据协同的预测模型训练方法， 其特征在 于， 所述数据中心对 各电力部门系统传递的模型参数训练值进 行聚合， 得到 当前参数值， 具 体包括： 对各电力 部门系统传递的模型参数训练值分别展开后得到相应的参数向量， 并对各电 力部门系统对应的参数向量进行聚类， 将孤立的参数向量删除， 再对剩余的参数向量进行 聚合， 得到所述当前参数值； 或， 基于各电力部门系统传递的模型参数训练值确定同一参数的参数值， 将所述同一 参数的参数值按照由大到小或由小到大的顺序排列后， 删除排名在前的多个参数值以及排 名在后的多个参数值， 再确定剩余的参数值中的中位数作为所述同一参数 的聚合参数值， 各个参数的聚合 参数值构成所述当前参数值。 6.一种基于多方 数据协同的数据预测方法， 其特 征在于， 包括： 获取待预测区域的区域电力数据以及区域协同方数据并进行数据对齐， 得到区域对齐 数据； 将所述区域对齐数据输入至用电量预测模型进行用电量预测， 得到所述待预测区域的 预计用电量数据； 其中， 所述用电量预测模型是基于如权利要求1至5任一项所述基于多方数据协同的预 测模型训练方法训练得到的。 7.一种基于多方 数据协同的预测模型训练装置， 其特 征在于， 包括： 数据获取单元， 用于各电力部门系统拉取协同方数据后， 在本地将本部门电力数据与 协同方数据进行 数据对齐， 并构建训练数据； 本地训练单元， 用于在当前轮全局训练时， 各电力部门系统基于所述训练数据在本地 对用电量预测模型进行训练， 得到模型参数训练值， 并确定所述用电量预测模型 的候选剪 枝参数； 各电力部门系统将所述模型参数训练值和所述 候选剪枝参数传送至数据中心； 聚合单元， 用于数据中心对各电力部门系统传递的模型参数训练值进行聚合， 得到当 前参数值， 基于各电力部门系统传递的候选剪枝参数确定实际剪枝参数， 并将所述当前参 数值以及实际剪枝参数传递给各电力部门系统， 开启下一轮全局训练； 各电力部门系统在 下一轮全局训练 时， 会将所述当前参数值作为所述用电量预测模型的初始 参数值并将所述 实际剪枝参数置 0； 所述训练数据包括测试集和训练集； 其中， 所述测试集中的每个训练样本中协同方数 据所在位置被置为0； 所述基于所述训练数据在本地对用电量预测模型进行训练， 得到模型参数训练值， 并权　利　要　求　书 2/3 页 3 CN 115186937 B 3