(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210447166.2 (22)申请日 2022.04.26 (71)申请人 上海商汤临港智能科技有限公司 地址 200232 上海市自由贸易试验区临港 新片区泥城镇秋山路1775弄29、 30号2 楼01室 (72)发明人 杨涛　李清正　 (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 专利代理师 袁忠林 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 神经网络处理系统、 指令生成方法、 装置及 电子设备 (57)摘要 本公开提供了一种神经网络处理系统、 指令 生成方法、 装置、 电子设备及存储介质， 该系统包 括： 计算模块和缓冲模块； 所述计算模块包括多 个计算单元； 待运行的神经网络中包括的每种特 征处理层与所述计算模块中的至少一个计算单 元相匹配； 所述计算单元， 用于从所述缓冲模块 中获取输入 特征数据； 基于匹配的特征处理层的 运算原理， 对获取的所述输入特征数据进行运算 处理， 得到输出特征数据； 并将所述输出特征数 据缓冲至所述缓冲模块。 权利要求书4页 说明书21页 附图7页 CN 114724103 A 2022.07.08 CN 114724103 A 1.一种神经网络处理系统， 其特征在于， 包括： 计算模块和缓冲模块； 所述计算模块包 括多个计算单元； 待运行的神经网络中包括的每种特征处理层与所述计算模块中的至少一 个计算单元相匹配； 所述计算单元， 用于从所述缓冲模块中获取输入特征数据； 基于匹配的特征处理层的 运算原理， 对获取的所述输入特征数据进 行运算处理， 得到输出特征数据； 并将所述输出特 征数据缓冲至所述缓冲模块。 2.根据权利要求1所述的系统， 其特征在于， 在所述待运行的神经网络中包括快速卷积 特征处理层的情况下， 与所述快速卷积特征处理层 匹配的计算单元， 包括： 预处理单元、 数 据处理单元、 后处理单元； 所述预处理单元， 用于基于与获取到的输入特征数据的尺寸信息匹配的第一变换矩 阵， 对所述输入特征数据进 行变换， 生成变换后的输入特征数据； 并将所述变换后的输入特 征数据输入至所述数据处 理单元； 所述数据处理单元， 用于获取权重特征数据， 并对所述变换后的输入特征数据与所述 权重特征数据进 行向量乘以矩阵VMM运算， 得第一中间运算结果， 并将所述第一中间运算结 果输入至所述后处 理单元； 所述后处理单元， 用于基于与所述第一中间运算结果的尺寸信息匹配的第二变换矩 阵， 对所述第一中间运 算结果进行变换， 生成输出 特征数据。 3.根据权利要求2所述的系统， 其特征在于， 与 所述快速卷积特征处理层匹配的计算单 元， 还包括： 池化处 理单元和激活 处理单元； 所述池化处理单元， 用于获取所述后处理单元生成的输出特征数据， 并对所述输出特 征数据进行池化处 理， 生成第二中间运 算结果； 所述激活处理单元， 用于对所述第二中间运算结果进行激活处理， 得到处理后的输出 特征数据。 4.根据权利要求1～3任一所述的系统， 其特征在于， 所述缓冲模块包括： 输入缓冲 区、 输出缓冲区、 权 重缓冲区； 所述输入缓冲区， 用于缓冲接收到的输入特 征数据； 所述输出缓冲区， 用于缓冲所述计算单 元生成的输出 特征数据； 所述权重缓冲区， 用于缓冲接收到的权 重特征数据。 5.根据权利要求4所述的系统， 其特征在于， 所述输入缓冲区、 输出缓冲区和权重缓冲 区中的至少一种为pi ng‑pong结构的缓冲区。 6.根据权利要求4或5所述的系统， 其特征在于， 所述缓冲模块还包括： 配置缓冲区和查 找表缓冲区； 所述配置缓冲区， 用于缓冲待运行的神经网络运行 过程所需的多条指令； 所述查找表缓冲区， 用于缓冲任一数值、 与对所述任一数值进行指数运算后得到的运 算值之间的映射关系。 7.根据权利要求1～6任一所述的系统， 其特征在于， 所述系统还包括： 直接存储器访问 DMA和内部存 储器； 所述DMA分别与所述缓冲模块和所述内部存 储器相连； 所述内部存储器， 用于存储所述计算模块所需的运算数据； 其中， 所述运算数据包括： 输入特征数据、 权重特征数据、 和输出 特征数据；权　利　要　求　书 1/4 页 2 CN 114724103 A 2所述DMA， 用于从所述内部存储器 中获取输入特征数据和权重特征数据； 并将 获取的所 述输入特征数据缓冲至所述缓冲模块的输入缓冲区， 和将获取的所述权重特征数据缓冲至 所述缓冲模块的权 重缓冲区； 以及 从所述缓冲模块的输出缓冲区中获取输出特征数据， 并将所述输出特征数据发送至所 述内部存 储器。 8.一种指令生成方法， 其特 征在于， 所述方法包括： 获取用于描述待运行的神经网络的网络结构的神经网络计算图； 基于所述神经网络计算图， 确定所述待运行的神经网络中各个特征处理层的目标处理 顺序信息； 基于所述目标处理顺序信 息， 对权利要求1至7任一所述的神经网络处理系统中的内部 存储器进 行分配， 得到内部存储器 分配结果； 其中， 所述内部存储器用于存储所述神经网络 处理系统中计算模块所需的运 算数据； 基于所述目标处理顺序信 息和所述内部存储器分配结果， 得到所述神经网络处理系统 对应的指令集。 9.根据权利要求8所述的方法， 其特征在于， 所述基于所述神经网络计算图， 确定所述 待运行的神经网络中各个特 征处理层的目标处 理顺序信息， 包括： 基于所述神经网络计算图， 确定所述待运行的神经网络中各个特征处理层的初始处理 顺序信息； 对所述初始处 理顺序信息进行划分， 得到所述目标处 理顺序信息 。 10.根据权利要求9所述的方法， 其特征在于， 所述神经网络计算图包括： 待运行的神经 网络中每个特征处理层对应的节点的节点信息、 以及不同节点之间的连接边信息， 所述节 点信息包括节点出度和节点标识， 节点出度用于表征与该节点相连的子节点的数量； 所述基于所述神经网络计算图， 确定所述待运行的神经网络 中各个特征处理层的初始 处理顺序信息， 包括： 确定所述神经网络计算图中节点出度为预设值的多个目标节点； 从所述多个目标节点中选取一个目标节点作为当前节点， 将预设的初始序列信 息作为 当前序列信息； 按照当前序列信 息中各个序列位的写入顺序， 将所述当前节点的节点标识写入至所述 当前序列信息， 得到更新后序列信息； 以及基于所述当前节 点和所述神经网络计算图， 确定 待写入节点； 其中， 所述序列位 为用于存 储节点标识的存 储位置； 将所述待写入节点作为更新后的当前节点， 将所述更新后序列信息作为当前序列信 息， 返回至按照当前序列信息中各个序列位的写入顺序， 将所述当前节点的节点标识写入 至所述当前序列信息， 得到更新后序列信息的步骤； 直至所述神经网络计算图中的每个节 点的节点标识均被写入至序列信息中为止； 基于最后 一次写入操作后得到的更新后序列信 息， 确定所述待运行的神经网络 中各个 特征处理层的初始处 理顺序信息 。 11.根据权利要求10所述的方法， 其特征在于， 所述基于所述当前节点和所述神经网络 计算图， 确定待 写入节点， 包括： 针对所述当前节点， 基于所述神经网络计算图， 确定与所述当前节点相连的父节点； 并权　利　要　求　书 2/4 页 3 CN 114724103 A 3