(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211179190.9 (22)申请日 2022.09.27 (71)申请人 华东师范大学 地址 200241 上海市闵行区东川路5 00号 (72)发明人 文颖　李嘉丰　 (74)专利代理 机构 上海蓝迪专利商标事务所 (普通合伙) 31215 专利代理师 徐筱梅　张翔 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于权重注意力提升卷积神经网络性 能的方法 (57)摘要 本发明公开了一种基于权重注意力提升卷 积神经网络性能的方法， 其特点是采用归一化统 计空间信息量并利用尺度因子生成权重注意力 的方法， 将权重注意力模块嵌入到不同的CNN架 构的卷积神经网络中增强网络模型的特征学习 能力， 实现网络性能的优化， 具体包括： 对各中间 特征图进行权重注意力的校正和重复嵌入权重 注意力的残差卷积块进行重要性特征的提取等 步骤。 本发 明与现有技术相比具有嵌入任何架构 的卷积神经网络模型中提升模型在图像分类等 任务上的性能， 即插即用， 几乎不增加网络开销 的情况下获得较大的性能收益， 是一款既轻量又 高效的注 意力机制来优化神经网络， 具有广泛的 应用前景。 权利要求书1页 说明书4页 附图2页 CN 115511051 A 2022.12.23 CN 115511051 A 1.一种基于权重注意力提升卷积神经网络性 能的方法， 其特征在于采用归一化统计空 间信息量并利用尺度 因子生成权重注意力的方法， 将权重注意力模块嵌入到不同的CNN架 构的卷积神经网络中增强网络模型 的特征学习能力， 实现网络性能的优化， 具体包括如下 步骤： 步骤a： 输入图像到卷积神经网络， 通过卷积层和池化层进行浅层特征提取及下采样， 然后重复堆叠残差连接的卷积块进行深层特 征提取， 获得含有C个通道的中间特 征图X； 步骤b： 将中间特征图X沿通道维度进行特征分组， 得到G组分别含有C/G个通道的特征 图X1； 步骤c： 将各特征图X1分别在空间维度上进行归一化， 利用其仿射变换中的尺度因子评 估不同特 征图的空间信息量， 以衡量 不同特征图的重要性； 步骤d： 对尺度因子经 过Lp‑Norm， 进而得到不同特 征图的重要性权 重因子ω； 步骤e： 将重要性权 重因子ω逐通道分配给 各特征图X1后得到特 征图X2； 步骤f： 对每一个特征图X2采用可学习参数α和β 进行再校准得到特征图X3， 增强特征表 达能力， 所述可 学习参数α 和β 由下述(a)式随网络一同进行训练： X3＝α X2+β  (a)； 步骤g： 通过sigmoid激活函数约束特征图X3生成3D注意力权重， 并逐像 素通道与特征图 X3相乘， 得到其中一组特征图Y1， 最后将G组特征图聚合得到输出特征图Y， 所述特征图Y1由 下述(b)式计算： Y1＝X1*Sigmoid(X3)  (b)； 步骤h： 将步骤b～步骤g的权重注意力机制嵌入残差卷积层， 学习具有代表性的重要特 征， 抑制不重要的特征， 最后经全连接层实现分类概率结果， 整个过程在训练集训练优化， 完成并在验证集对未知类别的待测图像进行分类预测。 2.根据权利要求1所述基于权重注意力提升卷积神经网络性能的方法， 其特征在于所 述优化方法可以作为即插即用的分支增益模块嵌入到卷积神经网络的不同卷积层。 3.根据权利要求1所述基于权重注意力提升卷积神经网络性能的方法， 其特征在于所 述权重注意力机制嵌入残差卷积层可以校正特 征图提取重要特 征， 抑制不重要的特 征。 4.根据权利要求1所述基于权重注意力提升卷积神经网络性能的方法， 其特征在于所 述权重注意力机制利用了组归一化过程中的尺度因子衡量特征图信息权重进行注意力指 导。权　利　要　求　书 1/1 页 2 CN 115511051 A 2一种基于权重 注意力提升卷积神经 网络性能的方 法 技术领域 [0001]本发明涉及计算机视觉和深度学习技术领域， 具体地说是一种基于权重注意力提 升卷积神经网络性能的方法。 背景技术 [0002]近年来神经网络和深度学习在计算机视觉和图像分类领域得到广泛应用， 其中卷 积神经网络(CNN)以其优异的特征表达的能力被广泛运用。 由于卷积神经网络常需要堆叠 大量卷积层去提取特征， 导致神经网络模型会提取较多冗余特征使模型不能很好的辨别重 要的和不重要的特征。 研究人员通过借鉴人类视觉的注意力机制， 对焦点聚集的区域投入 更多资源获取所需关注目标的细节信息， 从而忽视或抑制其他无用信息。 为了改善网络模 型把计算资源集中在提取重要的特征上， 各种注 意力机制比如SENet、 ECANet 等相继提出用 来捕获不同特征， 图通道依赖性得到相应重要性权重进行通道校正。 但是其中的全局平均 池化损失了空间信息， CBAM等注意力机制在加强通道相关性的同时考虑空间维度上的像素 依赖关系。 [0003]现有技术的注意力机制嵌入模型之后存在网络参数量增加和训练速度变慢的情 况， 使得网络模型的性能表现没有得充分提升 。 发明内容 [0004]本发明的目的是针对现有技术的不足而设计的一种基于权重注意力提升卷积神 经网络性能的方法， 采用归一化统计空间信息量并利用尺度 因子生成权重注意力的方法， 校正卷积层提取的特征图关注重要的空间通道区域， 该方法利用特征图在空间维度归一化 中的尺度因子来衡量特征图信息量， 并经过Lp ‑Norm作为通道重要性的权重因子， 将 权重因 子分配给特征图后进行再校准提高特征表达能力， 经过sigmoid函数约束后生成3D注意力 权重以指导特征图将注意力集中在特定空间和通道区域， 在几乎不增加网络模型参数计算 代价的情况下， 加速模型训练速度， 并可作为增益的分支模块 嵌入到多种不同的CNN架构的 卷积神经网络中增强网络模型 的特征学习能力， 实现网络性能的优化。 较好的解决了解决 现有注意力机制嵌入网络会增加 参数负担及速度变慢等问题， 实现高效的图像分类、 目标 检测等任务。 权重注意力模块即插即用， 在几乎不增加网络参数负担和计算成本的同时提 升神经网络训练收敛速度， 并提高在图像分类等领域的性能， 具 备广泛的应用前 景。 [0005]实现本发明目的的具体技术方案是： 一种基于权重注意力提升卷积神经网络性能 的方法， 其特点是采用归一化统计空间信息量并利用尺度因子生成权重注意力来校正卷积 层提取的特征图关注重要的空间通道区域， 在几乎不增加网络模型参数计算代价的情况 下， 实现模型 更高的性能， 如图像分类等任务， 具体优化过程包括如下步骤： [0006]步骤a： 制作图像训练集； [0007]步骤b： 将图像输入卷积神经网络经过卷积层和池化层进行浅层特征提取， 然后经 过残差连接的卷积块进行深层特 征提取生成中间特 征图X；说　明　书 1/4 页 3 CN 115511051 A 3