(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111682411.X (22)申请日 2021.12.3 0 (71)申请人 山东云海国创云计算装备产业创新 中心有限公司 地址 250001 山东省济南市自由贸易试验 区济南片区浪潮路1036号 浪潮科技园 S01楼35层 (72)发明人 何也　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 代理人 吴磊 (51)Int.Cl. G06N 3/08(2006.01) (54)发明名称 一种模型自动分割方法、 装置、 设备及存储 介质 (57)摘要 本发明公开了一种模型自动分割方法、 装 置、 设备及存储介质， 该方法包括： 确定当前需要 实现自动分割的神经网络模型为目标模型， 确定 适于运行所述目标模型中各算子节点的设备分 别为相应的目标设备； 为所述目标模 型中各算子 节点的输入及输出分别添加相应的标记符号， 所 述标记符号包括相应算子节点的目标设备的信 息； 基于所述标记符号对所述目标模型进行分 割， 获取分割后每个部分实现所包含的算子节点 的函数， 并将每个部分的函数分别分配到相应的 目标设备上实现相应的函数运行。 本申请使 得深 度学习模型保留灵活性的同时， 使得模型分割过 程能够自动化完成， 能够大大提高模型分割效 率， 进而有效提高模型运行效率。 权利要求书2页 说明书7页 附图4页 CN 114418090 A 2022.04.29 CN 114418090 A 1.一种模型自动分割方法， 其特 征在于， 包括： 确定当前需要实现自动分割的神经网络模型为目标模型， 确定适于运行所述目标模型 中各算子节点的设备分别为相应的目标设备； 为所述目标模型中各算子节点的输入及输出分别添加相应的标记符号， 所述标记符号 包括相应算子节点的目标设备的信息； 基于所述标记符号对所述目标模型进行分割， 获取分割后每个部分实现所包含的算子 节点的函数， 并将每 个部分的函数分别分配到相应的目标设备 上实现相应的函数运行。 2.根据权利要求1所述的方法， 其特征在于， 基于所述标记符号对所述目标模型进行分 割之前， 还 包括： 确定所述目标模型中相邻的且目标设备相同的算子节点为 能够合并的算子节点， 并将 添加于能够合并的算子节点之间的标记符号删除。 3.根据权利要求2所述的方法， 其特征在于， 为所述目标模型中各算子节点的输入及输 出分别添加相应的标记符号， 包括： 以所述目标模型的输出为起点， 通过递归的方式采用深度优先遍历的方法遍历所述目 标模型中的算子节点至所述目标模型的输入； 以所述目标模型的输入为起点， 为遍历到的所述目标模型中每个算子节点的输入及输 出分别添加相应的标记符号。 4.根据权利要求3所述的方法， 其特征在于， 确定适于运行所述目标模型中各算子节点 的设备分别为相应的目标设备， 包括： 确定所述目标模型的各算子节点中的任意算子节点为目标节点， 确定能够运行所述目 标节点的设备， 如果能够运行所述 目标节点的设备为多个， 则确定该能够运行所述 目标节 点的设备均为候选设备， 选取优先级最高的候选设备为适于运行所述目标节点的目标设 备， 否则， 确定能够运行 所述目标节点的设备为 适于运行 所述目标节点的目标设备。 5.根据权利要求 4所述的方法， 其特 征在于， 确定能够运行 所述目标节点的设备， 包括： 分别获取每个设备的算子列表， 如果所述目标节点的标识在任意设备的算子列表中， 则确定该任意设备为能够运行所述 目标节点的设备； 其中， 任意设备 的算子列表中包括该 任意设备能够运行的算子节点的标识。 6.根据权利要求5所述的方法， 其特征在于， 选取优先级最高的候选设备为适于运行所 述目标节点的目标设备， 包括： 按照算子列表越靠前、 优先级越高的原则， 确定算子列表最靠前的候选设备为适于运 行所述目标节点的目标设备。 7.根据权利要求6所述的方法， 其特征在于， 将每个部分的函数分别分配到相应的目标 设备上实现相应的函数运行之后， 还 包括： 将运行的结果输出至指定终端。 8.一种模型自动分割装置， 其特 征在于， 包括： 确定模块， 用于： 确定当前需要实现自动分割的神经网络模型为目标模型， 确定适于运 行所述目标模型中各算子节点的设备分别为相应的目标设备； 添加模块， 用于： 为所述目标模型中各算子节点的输入及输出分别添加相应的标记符 号， 所述标记符号包括相应算子节点的目标设备的信息；权　利　要　求　书 1/2 页 2 CN 114418090 A 2分割模块， 用于： 基于所述标记符号对所述目标模型进行分割， 获取分割后每个部分实 现所包含的算子节点的函数， 并将每个部 分的函数分别分配到相应的目标设备上实现相应 的函数运行。 9.一种模型自动分割设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序时实现如权利要求1至7任一项所述模型自动分割方 法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述模型自动分割方法 的步骤。权　利　要　求　书 2/2 页 3 CN 114418090 A 3