(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211149044.1 (22)申请日 2022.09.21 (71)申请人 内蒙古工业大 学 地址 010020 内蒙古自治区呼和浩特市 爱 民街49号 (72)发明人 武卓毅　马志强　宝财吉拉呼　 李雷孝　万剑雄　 (74)专利代理 机构 北京睿智保诚专利代理事务 所(普通合伙) 11732 专利代理师 韩迎之 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于注意力网络的车辆行为识别方法 (57)摘要 本发明公开了一种基于注意力网络的车辆 行为识别方法， 涉及人工智能技术领域。 本发明 包括将待识别的视频输入注意力网络； 通过空间 特征提取网络对输入的视频帧图像进行特征提 取， 输出空间特征； 通过时间特征提取网络对输 入的光流图像进行特征提取， 输出时间特征； 通 过时空特征融合网络对空间特征和时间特征进 行时空特征融合， 并判定车辆行为类别。 本发明 利用特征拼接技术进行特征融合， 实现了保证车 辆行为识别网络功能的同时利用视频中的时间 特征和空间特征进行建模以提高识别准确性的 目的。 权利要求书2页 说明书8页 附图2页 CN 115497059 A 2022.12.20 CN 115497059 A 1.一种基于注意力网络的车辆行为识别方法， 其特征在于， 注意力网络采用 双流卷积 网络结构， 车辆行为识别方法具体包括以下步骤： 将待识别的视频输入注意力网络， 其中注意力网络包括： 空间特征提取网络、 时间特征 提取网络、 时空特 征融合网络， 待识别的视频中包括视频帧图像和光 流图像； 通过空间特 征提取网络对输入的视频帧图像进行 特征提取， 输出空间特 征； 通过时间特 征提取网络对输入的光 流图像进行 特征提取， 输出时间特 征； 通过时空特征融合网络对空间特征和时间特征进行时空特征融合， 并判定车辆行为类 别。 2.根据权利要求1的一种基于注意力网络的车辆行为识别方法， 其特 征在于， 空间特征提取网络包括： 卷积层、 最大池化层、 特 征提取层、 平均池化层。 3.根据权利要求2的一种基于注意力网络的车辆行为识别方法， 其特 征在于， 空间特征提取网络计算公式： s1＝Maxpool(conv7*7(S)) s2＝layer(s1) s3＝layer(s2) s4＝layer(s3) s5＝layer(s4) outspatial＝Avgpool(s5)； 式中： S表示输入的视频帧图像数据， conv7*7表示卷积核为7的卷积层， Maxpool表示最 大池化层， s1表示第一空间流中间特征向量， s2表示第二空间流中间特征向量， s3表示第三 空间流中间特征向量， s4表示第四空间流中间特征向量， s5表示第五空间流中间特征向量， layer表示特征提取层， Avgpo ol表示平均池化， outspatial表示空间流网络 输出结果。 4.根据权利要求1的一种基于注意力网络的车辆行为识别方法， 其特 征在于， 时间特征提取网络包括： 卷积层、 最大池化层、 特征提取层、 注意力单元层、 平均池化 层。 5.根据权利要求 4的一种基于注意力网络的车辆行为识别方法， 其特 征在于， 时间特征提取网络计算公式： 式中： T表示输入的光流图片数据， conv7*7表示卷积核为7的卷积层， t1表示第一时间流 中间特征向量， t2表示第二时间流中间特征向量， t3表示第三时间流中间特征向量， t4表示 第四时间流中间特征向量， t5表示第五时间流中间特征向量， t6表示第六时间流中间特征向权　利　要　求　书 1/2 页 2 CN 115497059 A 2量， t7表示第七时间流中间特征向量， CBAM*表示注意力单元， Maxpool表示最大池化层， layer表示特征提取层， Avgpo ol表示平均池化层， outtemporal表示时间流网络 输出结果。 6.根据权利要求3或5的一种基于注意力网络的车辆行为识别方法， 其特 征在于， 特征提取层包括基础块。 7.根据权利要求6的一种基于注意力网络的车辆行为识别方法， 其特 征在于， 基础块包括卷积层、 批标准 化层、 非线性激活层。 8.根据权利要求5的一种基于注意力网络的车辆行为识别方法， 其特 征在于， 注意力单 元包括： 卷积层、 非线性激活层、 平均池化层、 最大池化层。 9.根据权利要求8的一种基于注意力网络的车辆行为识别方法， 其特 征在于， 注意力单 元层的原理公式如下： MLP＝conv(Relu(co nv(X))) Ac＝σ(MLP(Avgpo ol(X))+(MLP(Maxpo ol(X))) As＝σ(conv([Avgpo ol(X'),Maxpo ol(X')])) 式中： conv表示卷积层， Relu为非线性激活函数， MLP表示多层感知机单元， Avgpool表 示平均池化层， Maxpool表示最大池化层， σ 表示S igmoid函数， X'表示注意力中间向量， Ac表 示通道注意力特征向量， As表示空间注意力特征向量， 表示逐元素相乘计算， Outcbam表示 注意力单 元的输出 特征。 10.根据权利要求1的一种基于注意力网络的车辆行为识别方法， 其特 征在于， 时空特征融合网络包括 拼接运算层、 逻辑回归层。权　利　要　求　书 2/2 页 3 CN 115497059 A 3