(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211149221.6 (22)申请日 2022.09.21 (71)申请人 西安交通大 学 地址 710049 陕西省西安市咸宁西路28号 (72)发明人 董松林　尚苗　王长鑫　龚怡宏　 张玥　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 苟冬梅 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种受脑启发的全局-局部双通道图像 分类 方法及系统 (57)摘要 本发明提出了一种受脑启发的全局 ‑局部双 通道图像分类方法及系统， 涉及人工智能技术领 域。 该方法通过加入新的全局通路表征方式， 结 合自上而下的特征调制机制， 构建全局 ‑局部双 通路分类模 型， 提供了一个基于人脑双通道视觉 识别机制的计算模型， 称为Global ‑Local网络 (简称:GLNet)， 可以充分利用图像的局部细粒度 信息与全局空间拓扑信息， 并且提出将典型的层 结构深度卷积神经网络(CNN)结构转换为全局 ‑ 局部双通路分类模型结构的一般原则， 并将这种 转化应用于一些代表性基线CNN模型上， 从而提 高了模型分类的准确性， 提升了模 型的鲁棒性与 泛化能力。 权利要求书2页 说明书12页 附图4页 CN 115439696 A 2022.12.06 CN 115439696 A 1.一种受脑启发的全局 ‑局部双通道图像分类方法， 其特 征在于， 包括以下步骤： 获取并将待分类的图像集划分为训练集和 测试集； 选择一个CNN模型， 以其构建单元作为双通道模型的局部通道基本模块， 并对输入特征 进行局部细节信息提取， 得到具有局部信息的特 征表示； 选择Transformer模型， 以其编码层组件作为双通道模型的全局通道基本模块， 并对输 入特征进行全局拓扑相关性信息提取， 得到具有全局信息的特 征表示； 将双通道模型的局部通道基本模块与双通道模型的全局通道基本模块作为并行双通 道， 并分别连接到调制器， 形成双通道构建单元， 通过所述调制器融合所述双通道的输出特 征， 得到双通道模块的输出 特征； 将多个所述双通道构建单元， 按照CNN模型的层次架构进行堆叠， 得到全局 ‑局部双通 道图像分类模型； 采用所述训练集训练所述全局 ‑局部双通道图像分类模型， 得到训练好的全局 ‑局部双 通道图像分类模型； 采用训练好的全局 ‑局部双通道图像分类模型， 对所述测试集进行分类， 得到图像分类 结果。 2.根据权利要求1所述的受脑启发的全局 ‑局部双通道图像分类方法， 其特征在于， 对 输入特征进 行全局拓扑相关性信息提取， 得到具有全局信息的特征表示， 包括以下步骤： 将 所述输入特 征映射转换为N个一维To ken； 将所述N个一维To ken生成K组全局拓扑表示； 将所述K组全局拓扑表示的N个输出Token转换为多维输出特征映射， 得到具有全局信 息的特征表示。 3.根据权利要求1所述的受脑启发的全局 ‑局部双通道图像分类方法， 其特征在于， 所 述通过所述调制 器融合所述双通道的输出特征， 得到双通道模块的输出特征， 包括以下步 骤： 所述调制器通过门控机制和以可学习的方式， 将所述具有全局信 息的特征表示与 所述 具有局部信息的特 征表示融合， 以生成双通道模块的输出 特征。 4.根据权利要求3所述的受脑启发的全局 ‑局部双通道图像分类方法， 其特征在于， 将 所述具有全局信息的特征表示与所述具有局部信息的特征表示融合， 以生成双通道模块的 输出特征， 包括以下步骤： 所述调制器通过门控机制调制双通道的输出特征， 得到双通道模块的输出特征， 所述 双通道模块的输出特征的表达式为： 其中σ(·)为sigmoid激活函数， 为第l层的具有全局信息的特征表 示， 表示为第l层的具有局部信息的特征表 示， Yl为第l 层的双通道模块的输出 特征。 5.根据权利要求3所述的受脑启发的全局 ‑局部双通道图像分类方法， 其特征在于， 所 述调制器以可学习的方式， 将所述具有全局信息的特征表示与所述具有局部信息的特征表 示融合， 以生成双通道模块的输出 特征， 包括以下步骤： 所述调制器采用加和的融合方式， 利用可学习参数λ动态学习所述双通道的特征间的 比例关系， 得到双通道模块的输出特征， 所述得到双通道模块的输出特征的表达式为：权　利　要　求　书 1/2 页 2 CN 115439696 A 2其中 为ReLU激活函数， 为第l层的具有全局信息的特 征表示， 表示为第l层的具有局部信息的特征表示， Yl为第l层的双通道模块的输出特征， λ为动态学习所述双通道的特 征间的比例关系。 6.根据权利要求1所述的受脑启发的全局 ‑局部双通道图像分类方法， 其特征在于， 所 述双通道构建单元中的局部通道基本模块由NL个CNN模型构建单元堆叠组成， 所述双通道 构建单元中的全局通道基本模块由NG个Transformer模型的编码层组件堆叠组成。 7.一种受脑启发的全局 ‑局部双通道图像分类系统， 其特 征在于， 包括： 待分类的图像集划分模块， 用于获取并将待分类的图像集划分为训练集和 测试集； 局部通路模块， 用于选择一个CNN模型， 以其构建单元作为双通道模型的局部通道基本 模块， 并对输入特 征进行局部细节信息提取， 得到具有局部信息的特 征表示； 全局通路模块， 用于选择Transformer模型， 以其编码层组件作为双通道模型的全局通 道基本模块， 并对输入特 征进行全局拓扑相关性信息提取， 得到具有全局信息的特 征表示； 调制模块， 用于将双通道模型的局部通道基本模块与双通道模型的全局通道基本模块 作为并行双通道， 并分别连接到调制器， 形成双通道构建单元， 通过所述调制器融合所述双 通道的输出 特征， 得到双通道模块的输出 特征； 模型构建模块， 用于将多个所述双通道构建单元， 按照CNN模型的层次架构进行堆叠， 得到全局 ‑局部双通道图像分类模型； 模型训练模块， 用于采用所述训练集训练所述全局 ‑局部双通道图像分类模型， 得到训 练好的全局 ‑局部双通道图像分类模型； 图像分类模块， 用于采用训练好的全局 ‑局部双通道图像分类模型， 对所述测试集进行 分类， 得到图像分类结果。 8.一种电子设备， 其特 征在于， 包括： 存储器， 用于存 储一个或多个程序； 处理器； 当所述一个或多个程序被所述处理器执行时， 实现如权利要求1 ‑6中任一项所述的方 法。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该计算机程序被处 理器执行时实现如权利要求1 ‑6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115439696 A 3