(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210314736.0 (22)申请日 2022.03.28 (71)申请人 上海大学 地址 200444 上海市宝山区上 大路99号 (72)发明人 韩军　姜海燕　林浩宇　俞锦翔　 庞红玉　 (74)专利代理 机构 上海恒慧知识产权代理事务 所(特殊普通 合伙) 31317 专利代理师 徐红银　张琳 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) (54)发明名称 基于轻量化双帧速率网络异常行为识别方 法、 装置和系统 (57)摘要 本发明提供一种基于轻量化双帧速率网络 的异常行为识别方法、 装置和系统， 包括： 原始 视 频数据输入 轻量化双帧速率卷积神经网络； 轻量 化双帧速率卷积神经网络的低 帧率分支网络捕 获原始视频数据的空间语义信息； 轻量化双帧速 率卷积神经网络的高帧率分支网络捕获原始视 频数据的运动信息； 使用横向连接将低帧率分支 网络和高帧率分支网络的各个阶段进行特征融 合； 低帧率 分支网络和高帧率分支网络各自输出 的特征向量进行合并， 获得合并特征； 将合并特 征输入分类器， 得到异常行为识别分类结果。 本 发明两分支网络采用轻量化网络作为基础网络， 在保持低 帧率分支网络提取空间语义的能力以 及高帧率分支网络提取时间语义信息的同时， 大 大提高了 检测效率。 权利要求书3页 说明书11页 附图5页 CN 114663816 A 2022.06.24 CN 114663816 A 1.一种基于轻量 化双帧速率网络的异常行为识别方法， 其特 征在于， 包括： 将原始视频数据输入轻量化双 帧速率卷积神经网络， 其中， 所述轻量化双 帧速率卷积 神经网络的低帧率分支网络捕获所述原始视频数据的空间语义信息； 所述轻量化双帧速率 卷积神经网络的高帧率分支网络捕获所述原 始视频数据的运动信息； 使用横向连接将所述低帧率分支网络和高帧率分支网络的各个阶段进行 特征融合； 将所述低帧率分支网络和所述高帧率分支网络各自输出的特征向量进行合并， 获得合 并特征； 将所述合并特征输入分类 器， 得到异常行为识别分类结果。 2.根据权利要求1所述的基于轻量化双帧速率网络的异常行为识别方法， 其特征在于， 所述低帧率分支网络按照间隔16帧的低帧率采样视频帧图像； 所述高帧率分支网络按照间 隔2帧的高帧率采样视频帧图像。 3.根据权利要求1所述的基于轻量化双帧速率网络的异常行为识别方法， 其特征在于， 所述低帧率分支网络， 包括五层级联的广义卷积层， 分别为： 第一广义卷积层A1、 第二广义 卷积层A2、 第三广义卷积层A3、 第四广义卷积层A4和第五广义卷积层A5； 其中： 所述第一广义卷积层A1包括： 1个3 ×3×3的卷积层和1个3 ×3×3的最大池化层； 所述第二广义卷积层A 2依次包括： 1个分支1和3个分支 2； 所述第三广义卷积层A3依次包括： 1个分支1和7个分支 2； 所述第四广义卷积层A4依次包括： 1个分支1和3个分支 2； 所述第五广义卷积层A5依次包括： 1个1 ×1×1的卷积层和1个8 ×1×1的平均池化层。 4.根据权利要求3所述的基于轻量化双帧速率网络的异常行为识别方法， 其特征在于， 所述分支1划分为两个通路， 其中： 第一个通路包括： 1个步长为2的3 ×3×3的深度卷积层、 2个批量归一化、 1个1 ×1×1的 卷积层和1个激活层； 第二个通路包括： 2个1 ×1×1的卷积层、 3个批量归一化、 2个激活层、 1个步长为2的3 × 3×3的深度卷积层和1个压缩激励模块； 所述压缩激励模块包括： 1个自适应平均池化层、 2个全连接层和2个激活层； 将所述两个通路输出的特征向量在通道维度 上进行拼接， 拼接后 通过通道混洗操作后 输出； 所述分支2通过通道分割操作划分成两个通路， 即， 将输入分支2的特征向量按照通道 数平均分成两部 分， 一个部 分作为第一个通路的输入， 另一个部 分作为第二个通路的输入， 其中： 第一个通路包括： 恒等映射的快捷连接； 第二个通路包括： 2个1 ×1×1的卷积层、 3个批量归一化、 2个激活层、 1个步长为1的3 × 3×3的深度卷积层和1个压缩激励模块； 所述压缩激励模块包括： 1个自适应平均池化层、 2个全连接层和2个激活层； 将所述两个通路输出的特征向量在通道维度 上进行拼接， 拼接后 通过通道混洗操作后 输出。 5.根据权利要求1所述的基于轻量化双帧速率网络的异常行为识别方法， 其特征在于，权　利　要　求　书 1/3 页 2 CN 114663816 A 2所述高帧率分支网络包括五层级联的广义卷积层， 分别为第一广义卷积层B1、 第二广义卷 积层B2、 第三广义卷积层 B3、 第四广义卷积层 B4和第五广义卷积层 B5； 其中： 第一广义卷积层 B1依次包括： 1个3 ×3×3的卷积层和1个3 ×3×3的最大池化层； 第二广义卷积层 B2依次包括： 1个分支1和3个分支 2； 第三广义卷积层 B3依次包括： 1个分支1和7个分支 2； 第四广义卷积层 B4依次包括： 1个分支1个3个分支 2； 第五广义卷积层 B5依次包括： 1个1 ×1×1的卷积层和1个8 ×1×1的平均池化层。 6.根据权利要求5所述的基于轻量化双帧速率网络的异常行为识别方法， 其特征在于， 所述分支1划分为两个通路， 其中： 第一个通路包括： 1个步长为2的3 ×3×3的深度卷积层、 2个批量归一化、 1个1 ×1×1的 卷积层和1个激活层； 第二个通路包括： 2个1 ×1×1的卷积层、 3个批量归一化、 2个激活层、 1个步长为2的3 × 3×3的深度卷积层和1个压缩激励模块； 所述压缩激励模块包括： 1个自适应平均池化层、 2个全连接层和2个激活层； 将所述两个通路输出的特征向量在通道维度 上进行拼接， 拼接后 通过通道混洗操作后 输出； 所述分支2通过通道分割操作划分成两个通路， 即， 将输入分支2的特征向量按照通道 数平均分成两部 分， 一个部 分作为第一个通路的输入， 另一个部 分作为第二个通路的输入， 其中： 第一个通路包括： 恒等映射的快捷连接； 第二个通路包括： 2个1 ×1×1的卷积层、 3个批量归一化、 2个激活层、 1个步长为1的3 × 3×3的深度卷积层和1个压缩激励模块； 所述压缩激励模块包括： 1个自适应平均池化层、 2个全连接层和2个激活层； 将所述两个通路输出的特征向量在通道维度 上进行拼接， 拼接后 通过通道混洗操作后 输出。 7.根据权利要求1所述的一种基于轻量化双帧速率网络的异常行为识别方法， 其特征 在于， 所述横向连接包括四个卷积层， 分别为第一卷积层C1、 第二卷积层C2、 第三卷积层C3 和第四卷积层C4， 其中： 第一卷积层C1包括： 1个步长为 4的5×1×1的卷积层； 第二卷积层C2包括： 1个步长为 4的5×1×1的卷积层； 第三卷积层C 3包括： 1个步长为 4的5×1×1的卷积层； 第四卷积层C4包括： 1个步长为 4的5×1×1的卷积层； 在融合之前匹配特 征的大小， 包括： 低帧率分支网络的特 征尺寸为{T,S2,C}， 高帧率分支网络的特 征尺寸为{α T,S2, β C}， T表示时间长度， S2表示特征图的高度和宽度， α 表示高帧率 分支网络采样密度和低帧率 分支网络采样密度之比， β 表示高 帧率分支网络的通道数和 低帧率分支网络的通道数之比， C表示通道数；权　利　要　求　书 2/3 页 3 CN 114663816 A 3