(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210501926.3 (22)申请日 2022.05.09 (71)申请人 中移 （杭州） 信息技 术有限公司 地址 311100 浙江省杭州市余杭区五常街 道余杭塘路16 00号A01号楼 申请人 中国移动通信集团有限公司 (72)发明人 孙祥训　程宝平　谢小燕　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 陈小娟 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06F 16/683(2019.01) G06N 3/04(2006.01) G10L 15/18(2013.01) G10L 15/26(2006.01) (54)发明名称 视频处理方法、 装置、 设备及计算机可读存 储介质 (57)摘要 本发明公开了一种视频处理方法、 装置、 设 备及计算机 可读存储介质， 其中， 方法包括： 获取 待识别视频对应的音 频信息以及关键帧图像； 获 取所述音频信息对应的音 频文本语义特征向量， 并获取所述关键帧图像对应的视觉语义特征向 量； 基于所述视觉语义特征向量以及所述音 频文 本语义特征向量， 通过融合特征网络模型， 确定 所述待识别视频对应的违规概率； 若所述违规概 率大于预设阈值， 则确定所述待识别视频为违规 视频。 本发 明能够根据待识别视频的音频信息以 及关键帧图像准确确定该待识别视频是否为违 规视频， 通过在视频审核时兼容语音讲解等音 频 信息， 提高违规视频识别的准确率。 权利要求书2页 说明书10页 附图2页 CN 115049953 A 2022.09.13 CN 115049953 A 1.一种视频处 理方法， 其特 征在于， 所述视频处 理方法包括以下步骤： 获取待识别视频对应的音频信息以及关键帧图像； 获取所述音频信 息对应的音频文本语义特征向量， 并获取所述关键帧图像对应的视觉 语义特征向量； 基于所述视觉语义特征向量以及所述音频文本语义特征向量， 通过融合特征网络模 型， 确定所述待识别视频对应的违规 概率； 若所述违规 概率大于预设阈值， 则确定所述待识别视频为违规视频。 2.如权利要求1所述的视频处理方法， 其特征在于， 所述基于所述视觉语义特征向量以 及所述音频文本语义特征向量， 通过融合特征网络模型， 确定所述待识别视频对应的违规 概率的步骤 包括： 基于所述视觉语义特征向量以及所述音频文本语义特征向量， 确定所述待识别视频对 应的多模态融合特 征向量； 将所述多模态融合特征向量输入所述融合特征网络模型， 将所述融合特征网络模型的 输出作为所述违规 概率。 3.如权利要求1所述的视频处理方法， 其特征在于， 所述获取所述关键帧图像对应的视 觉语义特 征向量的步骤 包括： 获取所述关键帧图像对应的图像文本特 征向量以及关键帧图像特 征向量； 基于敏感人物库获取 所述关键帧图像对应的敏感人物特 征向量； 将所述图像文本特征向量、 所述关键帧图像特征向量以及所述敏感人物特征向量输入 循环神经网络模型， 将所述循环神经网络模型的输出作为所述视 觉语义特 征向量。 4.如权利要求3所述的视频处理方法， 其特征在于， 所述获取所述关键帧图像对应的图 像文本特 征向量以及关键帧图像特 征向量的步骤 包括： 对所述关键帧图像进行文本识别， 获得 所述关键帧图像对应的图像文本信息； 将所述图像文本信 息输入卷积神经网络模型， 将所述卷积神经网络模型的输出作为所 述图像文本特 征向量； 将所述关键帧图像输入深层卷积神经网络模型， 将所述深层卷积神经网络模型的输出 作为所述关键帧图像特 征向量。 5.如权利要求3所述的视频处理方法， 其特征在于， 所述基于敏感人物库获取所述关键 帧图像对应的敏感人物特 征向量的步骤 包括： 获取所述关键帧图像对应的人脸特 征； 确定各个所述人脸特 征与敏感人物库中的各个敏感人物特 征之间的相似度； 获取各个所述相似度中大于预设相似度的目标相似度， 将所述目标相似度对应的敏感 人物特征作为所述敏感人物特 征向量。 6.如权利要求1所述的视频处理方法， 其特征在于， 所述获取所述音频信 息对应的音频 文本语义特 征向量的步骤 包括： 对所述音频信息进行语音识别， 获得 所述音频信息对应的音频文本信息； 将所述音频文本信 息输入字符级卷积神经网络模型， 将所述字符级卷积神经网络模型 的输出作为所述音频文本语义特 征向量。 7.如权利要求1至6任一项所述的视频处理方法， 其特征在于， 所述获取待识别视频对权　利　要　求　书 1/2 页 2 CN 115049953 A 2应的音频信息以及关键帧图像的步骤之前， 所述视频处 理方法还 包括： 获取待检测视频对应的视频指纹； 若所述视频指纹与正常视频指纹库中的第 一预设视频指纹不匹配， 则确定所述视频指 纹与违规视频指纹库中的第二预设视频指纹是否匹配； 若所述视频指纹与 所述第二预设视频指纹不匹配， 则确定所述待检测视频为待识别 视 频； 若所述视频指纹与所述第二预设视频指纹匹配， 则确定所述待检测视频为违规视频。 8.一种视频处 理装置， 其特 征在于， 所述视频处 理装置包括： 第一获取模块， 用于获取待识别视频对应的音频信息以及关键帧图像； 第二获取模块， 用于获取所述音频信息对应的音频文本语义特征向量， 并获取所述关 键帧图像对应的视 觉语义特 征向量； 第一确定模块， 用于基于所述视觉语义特征向量以及所述音频文本语义特征向量， 通 过融合特 征网络模型， 确定所述待识别视频对应的违规 概率； 第二确定模块， 用于若所述违规概率大于预设阈值， 则确定所述待识别视频为违规视 频。 9.一种视频处理设备， 其特征在于， 所述视频处理设备包括： 存储器、 处理器及存储在 所述存储器上并可在所述处理器上运行的视频处理程序， 所述视频 处理程序被所述处理器 执行时实现如权利要求1至7中任一项所述的视频处 理方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有视频处 理程序， 所述视频 处理程序被处理器执行时实现如权利要求 1至7中任一项所述的视频处理 方法的步骤。权　利　要　求　书 2/2 页 3 CN 115049953 A 3