(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111683238.5 (22)申请日 2021.12.31 (71)申请人 杭州未名信科 科技有限公司 地址 311200 浙江省杭州市萧 山区宁围街 道钱江世纪 公园C区1幢101室 申请人 浙江省北 大信息技 术高等研究院 (72)发明人 宋令阳　刘天宇　 (74)专利代理 机构 北京辰权知识产权代理有限 公司 11619 专利代理师 谷波 (51)Int.Cl. H04L 67/1004(2022.01) H04L 67/568(2022.01) G06N 3/08(2006.01) (54)发明名称 边缘计算传输负载均衡方法、 装置、 设备及 存储介质 (57)摘要 本申请提供一种边缘计算传输负载均衡方 法、 装置、 设备及介质， 包括： 构建边缘计算系统 的优化问题， 优化目标为最小化边缘计算系统的 系统延迟； 将所述优化问题建模为马尔科夫决策 问题， 采用深度强化学习方法对 所述马尔科夫决 策问题进行求解， 得到边缘计算系统的最小化系 统延迟； 根据最小化系统延 迟对应的边缘计算系 统中各边缘服务器所剩余的缓存空间， 得到边缘 计算系统的负载均衡程度； 根据每个边缘服务器 的总缓存大小的限制条件最小化边缘计算系统 的负载均衡程度， 得到最优负载均衡。 相较于现 有技术， 本申请基于强化学习的优化算法， 在节 点缓存有限的情况下， 实现最优的任务、 资源分 配， 从而实现了负载均衡 。 权利要求书2页 说明书6页 附图5页 CN 114500551 A 2022.05.13 CN 114500551 A 1.一种边 缘计算传输负载均衡方法， 其特 征在于， 包括： 构建边缘计算系统的优化问题， 优化目标为 最小化边缘计算系统的系统延迟； 将所述优化问题建模为马尔科夫 决策问题， 采用深度强化学习方法对所述马尔科夫 决 策问题进行求 解， 得到边 缘计算系统的最小化系统延迟； 根据最小化系统延迟对应的边缘计算系统中各边缘服务器所剩余的缓存空间， 得到边 缘计算系统的负载均衡程度； 根据每个边缘服务器的总缓存大小的限制条件最小化边缘计算系统 的负载均衡程度， 得到最优负载均衡。 2.根据权利要求1所述的边缘计算传输负载均衡方法， 其特征在于， 所述优化问题的优 化变量包括第一变量和 第二变量， 第一变量表示云服务器分配给每个边缘服务器的计算任 务的数据量， 第二变量表示云服 务器分配给每 个边缘服务器的通信资源。 3.根据权利要求1所述的边缘计算传输负载均衡方法， 其特征在于， 所述根据最小化系 统延迟对应的边缘计算系统中各边缘服务器所剩余的缓存空间， 得到边缘计算系统的负载 均衡程度， 包括： 根据最小化系统延迟对应的边缘计算系统中各边缘服务器所剩余的缓存空间得到所 有边缘服务器的平均剩余缓存空间； 根据各边缘服务器所剩余的缓存空间和所述平均剩余缓存空间， 得到边缘计算系统的 负载均衡程度。 4.根据权利要求3所述的边缘计算传输负载均衡方法， 其特征在于， 所述根据 各边缘服 务器所剩余的缓存空间和所述平均剩余缓存空间， 得到边缘计算系统的负载均衡程度， 包 括： 根据第一公式计算得到边 缘计算系统的负载均衡程度； 所述第一公式如下： 其中， Uj表示边缘服务器j所剩余的缓存空间， 表示所述平均剩余缓存空间。 5.一种边 缘计算传输负载均衡装置， 其特 征在于， 包括： 构建模块， 用于构建边缘计算系统的优化问题， 优化目标为最小化边缘计算系统的系 统延迟； 建模模块， 用于将所述优化问题建模为马尔科夫决策问题， 采用深度强化学习方法对 所述马尔科 夫决策问题进行求 解， 得到边 缘计算系统的最小化系统延迟； 计算模块， 用于根据最小化系统延迟对应的边缘计算系统中各边缘服务器所剩余的缓 存空间， 得到边 缘计算系统的负载均衡程度； 优化模块， 用于根据每个边缘服务器的总缓存大小的限制条件最小化边缘计算系统的 负载均衡程度， 得到最优负载均衡。 6.根据权利要求5所述的边缘计算传输负载均衡装置， 其特征在于， 所述优化问题的优 化变量包括第一变量和 第二变量， 第一变量表示云服务器分配给每个边缘服务器的计算任 务的数据量， 第二变量表示云服 务器分配给每 个边缘服务器的通信资源。权　利　要　求　书 1/2 页 2 CN 114500551 A 27.根据权利要求5所述的边缘计算传输负载均衡装置， 其特征在于， 所述计算模块， 具 体用于： 根据最小化系统延迟对应的边缘计算系统中各边缘服务器所剩余的缓存空间得到所 有边缘服务器的平均剩余缓存空间； 根据各边缘服务器所剩余的缓存空间和所述平均剩余缓存空间， 得到边缘计算系统的 负载均衡程度。 8.根据权利要求7所述的边缘计算传输负载均衡装置， 其特征在于， 所述计算模块， 具 体用于： 根据第一公式计算得到边 缘计算系统的负载均衡程度； 所述第一公式如下： 其中， Uj表示边缘服务器j所剩余的缓存空间， 表示所述平均剩余缓存空间。 9.一种电子设备， 包括： 存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器运行所述计算机程序时执行以实现如权利要求 1 至4中任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 其上存储有计算机可读指令， 所述计算机 可读指令可被处 理器执行以实现如权利要求1至4中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114500551 A 3