(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211025701.1 (22)申请日 2022.08.25 (71)申请人 浙江英集动力科技有限公司 地址 311100 浙江省杭州市余杭区仓前街 道龙园路8 8号2幢208、 209-1、 209-2室 (72)发明人 谢金芳　金鹤峰　穆佩红　赵琼　 (74)专利代理 机构 郑州博派知识产权代理事务 所(特殊普通 合伙) 41137 专利代理师 荣永辉 (51)Int.Cl. G06K 9/62(2022.01) G06Q 40/04(2012.01) G06Q 50/06(2012.01) H04L 41/14(2022.01) (54)发明名称 基于深度强化学习的多区域综合能源系统 能量管理方法 (57)摘要 本发明公开了一种基于深度强化学习的多 区域综合能源系统能量管理方法， 包括： 构建多 区域综合能源系统能量管理边缘计算架构； 通过 网络物理层中各子区域综合能源系统设置的传 感器采集 综合能源系统各类数据信息， 并通过无 线通信设备上传至边缘层中的边缘节 点； 将训练 完成的深度强化学习模型部署在各个边缘节点 上， 根据网络物理层上传的信息生成能量管理策 略， 并反馈给网络物理层进行系统中冷热电源各 自的出力控制和储能设备的能量输入、 输出量控 制； 在边缘层和云层之间建立迭代学习机制， 当 实际和预期的能量管理性能存在出入时， 云服务 器根据各个边缘节点上报的数据和历史学习经 验重新训练深度强化学习模型， 并下发至各个边 缘节点。 权利要求书4页 说明书10页 附图2页 CN 115392373 A 2022.11.25 CN 115392373 A 1.一种基于深度强化学习的多区域综合能源系统能量管理方法， 其特 征在于， 它包括： 构建包括网络物理层、 边 缘层和云层的多区域综合能源系统能量管理边 缘计算架构； 通过网络物理层中各子区域综合能源系统设置的不同类型传感器采集综合能源系统 运行数据、 运行状态和环境信息， 并通过无线通信 设备上传至边缘层中就近设置的边缘节 点等待处理； 将训练完成的深度强化学习 模型部署在各个边缘节点上， 根据网络物 理层上传的信 息 生成能量管理策略， 并反馈给网络物理层进 行系统中冷热电源各自的出力控制和储能设备 的能量输入、 输出量控制； 其中， 在边缘层和云层之间建立迭代学习机制， 当深度强化学习模型实 际的能量管理 性能和预期的能量管 理性能之 间存在超出预设的出入时， 边缘节点会通知相应的云服务器 重新启动 深度强化学习模型的训练过程； 云服务器根据各个边缘节点上报的数据和历史学 习经验重新训练深度强化学习模型， 并下发至各个边 缘节点。 2.根据权利要求1所述的多区域综合 能源系统能量管理方法， 其特征在于， 所述多区域 综合能源系统包括相关的多个区域， 每个区域内包括各类能量存储和转化元件、 能量传输 网络和各类负荷构成， 并与电网和燃气网进行电力和天然气交互； 区域之间通过联络线或 联络管道相连， 实现电能、 天然气的交互； 各个区域的能量管理系统之间通过通讯网络相 连， 用于交换边界信息， 实现各区域间能量协同管理； 所述能量存储和转化元件包括分布式 电源、 冷热电三联供、 电锅炉、 燃气锅炉、 冷机和储能装置； 所述各类负荷包括电负荷、 热负 荷和冷负荷； 其中， 所述分布式电源包括光伏发电和风机发电， 用于供给系统电负荷， 同时一部分电 能输送至冷机或电锅炉， 多余的电能存储至电储能设备； 所述冷热电三联供包括溴化锂制 冷机和燃气内燃机； 所述储能装置包括电、 热、 冷储能装置； 冷负荷由溴化锂制冷机供给， 或 由冷机制冷补 充； 热负荷由燃气内燃机供给， 燃气锅炉和电锅炉产热作为补充； 能量传输网 络是按照能量传输介质分为电力总线、 热力总线和冷却总线， 并设定相同传输介质的能量 会由能量源流向总线， 流向负荷的能量会从总线流出， 且系统能量管理需要满足电力总线 能量平衡、 热力总线能量平衡和冷却总线能量平衡。 3.根据权利要求1所述的多区域综合 能源系统能量管理方法， 其特征在于， 所述构建包 括网络物理层、 边 缘层和云层的多区域综合能源系统能量管理边 缘计算架构， 包括： 多区域综合能源系统能量管理边缘计算架构 从下向上依次构建网络物 理层、 边缘层和 云层； 所述网络物理层包括多种类型的传感器、 执行器和无线通信设备， 传感器用于采集多 区域综合能源系统现场的实际数据和反馈能量管 理性能， 至少包括系统各类能量存储和转 化元件的温度数据、 压力数据、 流量数据、 燃料燃烧数据、 储能装置释能和储能运行状态、 各 设备能量分配、 转换或储存状态和室外环境信息的采集； 执行器用于执行边缘层反馈的能 量管理策略； 无线通信设备包括WIFI、 WLAN、 4G、 5G和蓝牙， 用于网络物理层和边缘层之间数 据双向通信； 所述边缘层包括依据多区域综合能源系统的位置就近设置多个边缘节点， 边缘节点中 设有基站、 无线访问热点、 轻量级边缘服务器， 通过无线通信技术向网络物理层的设备下发 能量管理策略， 同时通过互联网上传历史数据至云层；权　利　要　求　书 1/4 页 2 CN 115392373 A 2所述云层由多个重量级云服务器资源组成， 用于大数据存储、 处理、 离线分析、 强化学 习模型构建和能量管理优化决策； 以及用于调配计算资源和分配计算任务， 缓解局部边缘 节点的计算压力。 4.根据权利要求1所述的多区域综合 能源系统能量管理方法， 其特征在于， 在所述深度 强化学习模型训练之前， 还 包括： 构建多区域综合能源系统能量管理优化模型； 多区域综合能源系统能量管理优化模型的目标是协调区域系统中各设备元件出力， 获 得最小化系统运行成本； 所述系统运行成本包括与主网能量交互成本、 消耗的天然气成本、 设备启停成本和碳 排放交易成本， 表示 为： minCi＝Cd,i+Cq,i+Cg,i+Co,i； 其中， Ci为区域i系统运行 成本； Cd,i为该区域与主网 能量交互成本； Cq,i为该区域消耗的 天然气成本； Cg,i为该区域设备启停成本； Co,i为该区域 碳排放交易成本； Pd(t)为t时刻综合能源系统与主网的电力交换功率， 为正时表示向 主网购电， 为负 时表示系统向主网售电； εd(t)为t时刻的电价； T为对该区域综合能源系统 进行能量管理所考虑的总时间； vGT(t)、 vGB(t)分别为t时刻 的燃气内燃机、 燃气锅炉消 耗的天然气量； εq(t)为t时刻的天然气单价； U(t)为t时刻的燃气内燃机的启停状态变量； UMT为t时刻燃气内燃机启停一次的成本； Qc为储能装置的投资 成本； Nc为标称循环 寿命； nc为 储能装置在调度期间内的循环次数； cc为碳排放配额时碳排放权交易价格； An为第n台设备碳 排放强度； λn为第n台碳排放设备单位碳排放配额； Pn,o(t)为第n台碳排放设备在t时刻的出 力； N为碳排放设备的个数； 多区域综合能源系统能量管理的约束条件至少包括： 热量平衡约束： 为区域i中燃气内燃机 在t时段内产生的多余热量； 为区域i中燃气锅炉在t时段内天然气燃烧后产生的热量； 为区域i中电锅炉在t时段内产生的热量； 为区域i中溴化锂制冷机在t时段内所 需 要的的热量； 为区域i中用户在t时段内的热负荷； 为区域i中系统t时段内的热量 传输损耗； 为区域i在t时段内与热网交换的热功率； 电量平衡约束： 为区域i系统在t时段内从 公网购买的电量； 为区域i中燃气内燃机在时段t内的发电量； 为区域i中分布式电源 在t时段内产生的电量； 为区域i中用户在t 时段内的电负荷； 为区域i中冷机在t 时权　利　要　求　书 2/4 页 3 CN 115392373 A 3