(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211161241.5 (22)申请日 2022.09.23 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市栖霞区文苑路9 号 (72)发明人 徐小龙　王珺　 (74)专利代理 机构 南京禹为知识产权代理事务 所(特殊普通 合伙) 32272 专利代理师 刘子奇 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种面向智能监控系统的暗处暴力行为检 测方法 (57)摘要 本发明公开一种面向智能监控系统的暗处 暴力行为检测方法包括： 提取视频帧数据并对模 糊的视频帧进行图像增强得到高质量视频帧， 调 整原视频帧和高质量视频帧的输入尺 寸； 采用主 干网络对两条路径的帧序列进行时空特征提取， 通过多尺度注 意力模块提取序列的特征； 将时空 特征并行传入BERT网络模块， 利用多头注意力模 块和PFFN网络进行特征融合并提取关键时空特 征； 经过计算得到模块的行为识别结果并判断视 频序列是否存在暴力行为； 本发 明结合多尺度注 意力和特征融合的思想设计网络结构， 能获得多 尺度的语义信息， 将轻量级的低光图像增强技术 应用到暗光环 境下的暴力行为检测， 能够改善阴 暗模糊环境下暴力行为识别的困难。 权利要求书3页 说明书8页 附图2页 CN 115240123 A 2022.10.25 CN 115240123 A 1.一种面向智能监控系统的暗处暴力行为检测方法， 其特 征在于， 包括： 提取视频帧数据并对阴暗模糊的视频帧进行图像增强， 得到高质量视频帧， 调整原视 频帧和所述高质量视频帧的输入尺寸， 使所述输入尺寸 适配网络模型； 采用主干网络分别对Dark路径和Light路径的帧序列进行时空特征提取， 通过多尺度 注意力模块 提取视频序列的多尺度特 征； 将所述时空特征并行传入BERT网络模块， 利用多头注意力 模块和PFFN网络进行特征融 合并进一 步提取关键时空特 征； 经过计算获取所述BERT网络模块的最终暴力行为识别结果， 根据所述最终暴力行为识 别结果判断视频序列是否存在暴力行为。 2.如权利要求1所述的面向智能监控系统 的暗处暴力行为检测方法， 其特征在于： 所述 图像增强的步骤 包括， 采用Zero ‑DCE方法对所述阴暗模糊的视频帧进行图像增强； 利用深度曲线估计网络估计一组最佳拟合的光增强 曲线给定输入图像， 通过迭代应用 曲线映射出输入RGB通道的所有像素来获得最终的增强暴力行为图像； 设计一条二 次曲线将阴暗图像自动映射到增强图像， 所述曲线的参数完全依赖于输入 图像。 3.如权利要求2所述的面向智能监控系统 的暗处暴力行为检测方法， 其特征在于： 所述 输入尺寸的调整包括， 将由所述原视频帧和所述高质量视频帧构 成的数据集以4∶1的比例划分为训练集和测 试集， 随机 选取每个视频的32帧图像作为 一个视频序列； 在训练过程 中， 将所述视频序列中的每帧图像随机裁剪为112 ×112的图像， 以50%的概 率对所述每帧图像进行 水平翻转操作， 将翻转后图像作为网络模型的输入； 在测试过程中， 从每帧图像中心位置裁剪出尺寸大小为112 ×112的图像作为网络模型 的输入。 4.如权利要求3所述的面向智能监控系统 的暗处暴力行为检测方法， 其特征在于： 所述 Dark路径包括阴暗环境下暴力行为视频的视频帧序列， 所述Light路径包括经过Zero ‑DCE 低光图像增强的视频帧序列。 5.如权利要求4所述的面向智能监控系统 的暗处暴力行为检测方法， 其特征在于： 所述 主干网络包括以5 0层残差网络为基础改进的多尺度残差网络； 所述改进的多尺度残差网络包括保留所述50层残差网络的 C1、 C2、 C3、 C4 层， 所述C1层 为第一个卷积块的输出特征图， 所述 C2层为第一组多尺度残差块的输出特征图， 所述 C3层 为第二组多尺度残差块的输出 特征图， 所述 C4层为第三组多尺度残差块的输出 特征图。 6.如权利要求5所述的面向智能监控系统 的暗处暴力行为检测方法， 其特征在于： 所述 多尺度特 征的提取包括， 切分特征通道， 对每组通道特征图上的空间信息进行多尺度特征提取， 将提取的特征 信息融合得到多尺度特 征； 所述多尺度特 征的计算包括，权　利　要　求　书 1/3 页 2 CN 115240123 A 2其中， 表示卷积提取到的特征图， 表示三维卷积操作， 表示卷积核的尺 寸， 表示Group大小， 表示通道切分后的特征图， S表示通道切分的组数， 表示特征图拼接得 到的多尺度特 征图，Cat表示特征图拼接 。 7.如权利要求6所述的面向智能监控系统 的暗处暴力行为检测方法， 其特征在于： 还包 括， 利用SEWeight模块提取不同尺度特征图的通道注意力， 得到不同尺度的通道注意力向 量； 通过Softmax函数对多尺度通道注意力向量进行特征重新标定， 得到多尺度通道交互 后的注意力权 重； 对所述注意力 权重和所述特征图按元素进行点乘操作， 输出一个多尺度 特征信息注意 力加权后的特 征图。 8.如权利要求1~7任一所述的面向智能监控系统的暗处暴力行为检测方法， 其特征在 于： 所述关键时空特 征的提取包括， 将所述时空特征并行传入BERT网络模块， 利用多头注意力 模块和PFFN网络进行特征融 合并进一 步提取所述关键时空特 征； 所述BERT网络模块的计算包括， 其中， 表示暴力行为识别相应的分类向量， 表示相同作用于所有位置的位 置前馈网络， 表示标准化项， 表示BERT自注意机制内的线 性投影， 表示由提取 的时间视觉信息及其位置编码组成的嵌入向量， 表示进行位置编码时附加的分类， j表 示所有可能的组合。 9.如权利要求8所述的面向智能监控系统 的暗处暴力行为检测方法， 其特征在于： 所述 最终暴力行为识别结果的获取包括， 最终暴力行为识别结果由BERT模块的结果经过全连接层 FC和argmax函数计算得到， 所 述最终暴力行为识别结果 的计算包括， 。 10.如权利要求9所述的面向智能监控系统的暗处暴力行为检测方法， 其特征在于： 还 包括， 利用二分类交叉熵函数作为损失函数对所述网络模型进行训练； 所述二分类交叉熵函数 L的计算包括， 权　利　要　求　书 2/3 页 3 CN 115240123 A 3