(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210971238.3 (22)申请日 2022.08.15 (65)同一申请的已公布的文献号 申请公布号 CN 115049969 A (43)申请公布日 2022.09.13 (73)专利权人 山东百盟信息技 术有限公司 地址 264200 山东省威海市环翠区海 滨北 路-106A号威海国际商务大厦1 112号 (72)发明人 付强　赵洪伟　 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 114841968 A,202 2.08.02 CN 114882585 A,202 2.08.09 CN 114758282 A,202 2.07.15 审查员 刘璐 (54)发明名称 一种改进YOLOv3和BiConvLSTM 的不良视频 检测方法 (57)摘要 本发明提供一种改进YOLOv3和BiConvLSTM 的不良视频检测方法； 首先利用不良视频的定 义： 因画面中包括持械斗殴、 争吵打骂和肢体冲 突等行为而被认定为不适宜观看的视频； 其次， 改进YOLOv3模型进行不良视频帧的特征提取， 添 加多头注 意力层来增强特征， 根据注 意力权重判 断特征重要程度， 得到关注增强特征的不良视频 帧特征； 然后， 利用双向卷积长短时记忆模型双 向全方位获取综合深层隐藏时空特征， 全连接层 改为平均池化层， 进行不良视频检测分类； 将改 进YOLOv3模型得到的不良视频帧的图像特征输 入到改进的BiConvLSTM得到综合全面的深层隐 藏的不良时空特征， 输入到全局平均池化层得到 不良视频的检测分类结果。 权利要求书3页 说明书8页 附图4页 CN 115049969 B 2022.12.13 CN 115049969 B 1.一种改进YOLOv3和BiConvLSTM 的不良视频检测方法， 其特征在于， 具体包括以下步 骤： 步骤一、 利用不良视频的定义： 因画面中包括持械斗 殴、 争吵打骂和肢体冲突行为而被 认定为不适宜观看的视频； 对数据进行预处理， 将处理后的数据集Hockey  Fight， Mediaeval2015与自行获取的视频 数据作为实验数据集； 步骤二、 改进YOLOv3模型进行不良视频帧的特征提取方法， 针对传统CNN模型提取特征 时未关注的特征重要程度对特征提取 的影响， 添加多头注意力层来增强特征， 根据注意力 权重判断特征重要程度； 针对传统Y OLO模型提取特征时限定图片大小的不灵敏性， 利用1 × 1卷积策略代替全连接层； 步骤三、 改进卷积长短时记忆模型进行不良视频的不良行为检测方法， 针对改进卷积 长短时记忆模型获取时序特征不全面的问题， 采用双向卷积长短时记忆模型； 针对 改进卷 积长短时记 忆模型全连接层参数 过多， 造成过拟合的问题， 将全连接层改为平均池化层； 步骤四、 融合改进YOLOv3模型进行不良视频帧的特征提取方法和改进卷积长短时记忆 模型进行不良视频的不良行为检测方法， 融合模型命名为YOLOv3 ‑MHA‑Bi改进卷积长短时 记忆模型； 将预处理的视频帧图像输入到YOLOv3 ‑MHA‑Bi改进卷积 长短时记忆模型中， 最终 输出不良视频的检测结果； 步骤二中所述改进YOLOv3模型进行不良视频帧的特征提取方法， 针对传统CNN模型提 取特征时未关注的特征重要程度对特征提取 的影响， 添加多头注意力层来增强特征， 根据 注意力权重判断特征重要程度； 针对传统YOLO模型提取特征时限定图片大小的不灵敏性， 利用1×1卷积策略代替全连接层， 具体过程如下： 首先， 利用YOLOv3模型获取视频帧的图像特征表示， YOLOv3一共有53层， 该53层的结构 命名为darknet ‑53， 其中包括52层的卷积层和一层的全连接层， 卷积层全都使用全卷积结 构， 由1×1卷积和3 ×3卷积构成一个Residual单元； YOLOv3模型包括若干的DBL组件和resN 组件， resN组件中包含DBL组件结构， DBL组件的基本组成包括卷积层、 DB层以及Leaky  RELU 激活函数层； resN组件是YOLOv3模型darknet ‑53核心结构的最大组件， N代表的是res这个 块结构中包含几个res单元结构， resN组件包含res1、 res2、 res8、 res8以及res4单元， 此结 构具有更深的层次， 可以更加有 效的提取不良视频帧的深层特征， 首先， 将大小为M1×M2的 不良视频帧作为输入， 输入到YOLOv3模 型中， 调整输入为256 ×256的维度； 输入的视频帧的 尺寸为416 ×416， 则可得到3个特征尺度， 分别是13 ×13， 26×26， 还有52 ×52， 因此根据K ‑ means聚类算法在三个尺度的特 征图上划分为每 个尺度3个先验框； 其次， 添加多头注意力层以获取融合视频上下文 的不良视频帧的增 强特征， 在YOLOv3 模型之前添加多头自注意力层， 注意力层不改变输出向量的维度， 将大小为M1×M2， 通道数 为Tin的视频帧图像平铺为一维输入 根据单层注意力的计算公式， 定义查 询向量Q， 键向量K， 值向量V， 如公式(1)～(3)所示： Q＝XWq                                (1) K＝XWk                                (2) V＝XWv                                (3) 其中， Wq， attention机制将投影到不同子空间的特征信息权　利　要　求　书 1/3 页 2 CN 115049969 B 2分配给值向量V； 多头注意力的实质则为多个单层注意力层的叠加， 定义注意力的头数为H， 输出的注意 力得分Sh， 将权重矩阵与多头注意力得分进行融合可得到融合视频帧上下文特征的融合向 量Wo， 如公式(4)所示： MHA(Q,K,V)＝[ S1,...,Sh]Wo                         (4) 其中， 在输入YOLOv3模型之前， 也就是卷积操作之前进行注意力的增强， 有 助于在最原始的输入帧进行增强， 效果更好， 将得到的不良视频帧的增强向量表示作为输 入， 输入到 YOLOv3模型的dark net‑53核心结构中， 进行训练； 最后， YOLOv3模型的全连接层改成用1 ×1卷积来替代， 传统的全连接层将各个卷积图 得到的特征进行线性拼接得到一个独立的特征， 之后输入传统的softmax分类器中可以得 到相应的类别， 但是YOLOv3模 型有52层， 模 型结构错综复杂， 全连接层拼接不良视频帧的图 像特征时会将图像的空间结构破坏掉， 使得其空间结构布局完整， 而且还会固定限制 输入 视频帧的大小， 有失灵活性， 因此将全连接层替换成为 1×1卷积层， 不但可以保留完整的图 像特征不再限制输入帧的大小， 而且1 ×1卷积常用以降维以降低模型的复杂度， 加速模型 的收敛， 最终得到增强的不良视频帧图像的深层特 征。 2.根据权利要求1所述一种改进YOLOv3和BiConvLSTM的不良视频检测方法， 其特征在 于， 步骤一中所述利用不良视频的定义： 因画 面中包括持械斗殴、 争吵打骂和肢体冲突行为 而被认定为不适宜观看的视频； 对数据进行预处理， 将处理后的数据集Hockey  Fight， Mediaeval2015与自行获取的视频 数据作为实验数据集， 具体过程如下： 首先， 对数据集进行预处理； 数据集Hockey  Fight里包含不良视频500个， 非不良视频 500个， 其中不良视频中包含的不良行为均为肢体接触冲突， 数据集的每个不良视频大小为 41帧， 25fps帧率， 360 ×288的分辨率； 数据集M ediaeval2 015包含不良视频502 个， 非不良视 频10398个， 其中不良视频中的不良行为包括器械争斗行为和肢体不良冲突行为； 自行获取 的视频大多是公共场所的监控视频的不良行为片段， 利用LabelImage工具对视频帧进行人 工标注； 其次， 对数据集进行扩充； 由于不良视频样本数远小于非不良视频样本数， 数据集存在 正反例不均衡的现状； 因此， 将不良视频样本进 行正放， 倒放， 镜像处理， 进而将数据集进 行 扩充； 最后， 进行数据集划分； 将三种数据集进行融合， 最终融合数据集包含不良视频样本 2000个， 并且从非不良视频样 本中取2000个样 本作为反例； 按照7： 3的比例将数据集划分为 训练集和 测试集， 训练集包 含2800个视频， 测试集包 含1200个视频样本 。 3.根据权利要求1所述一种改进YOLOv3和BiConvLSTM的不良视频检测方法， 其特征在 于， 利用步骤三改进卷积长短时记忆模型进行不良视频的不良行为检测方法， 将改进 YOLOv3模型进行不良视频帧的特征提取方法提取到的图像特征作为输入， 利用双向卷积长 短时记忆模 型来获得双向综合全面的深层隐藏时序特征及空间特征， 利用Global平均池化 策略替代全连接层进行