(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211200519.5 (22)申请日 2022.09.29 (71)申请人 深圳壹账通智能科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室(入驻深圳市 前海商务秘书 有限公司) (72)发明人 陈波　徐亮　黄一鸣　王小标　 (74)专利代理 机构 深圳市沃德知识产权代理事 务所(普通 合伙) 44347 专利代理师 高杰　于志光 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 基于录屏视频的信息验证方法、 装置、 设备 及存储介质 (57)摘要 本发明涉及人工智能技术， 揭露了一种基于 录屏视频的信息验证方法， 包括： 获取信息收集 时得录屏视频； 将所述录屏视频转换为按时间排 序的视频帧序列； 利用预训练完成的轻量级神经 网络对所述视频帧序列中的每个视频帧进行分 类， 得到关键视频帧序列； 对所述关键视频帧序 列进行操作场景识别， 得到所述 关键视频帧序列 对应的操作场景序列； 根据所述操作场景序列对 所述录屏视频进行信息校验。 本发 明还提出一种 基于录屏视频的信息验证装置、 电子设备以及存 储介质。 本发明可以提高用户信息填写的正确 率。 权利要求书2页 说明书9页 附图3页 CN 115471775 A 2022.12.13 CN 115471775 A 1.一种基于 录屏视频的信息验证方法， 其特 征在于， 所述方法包括： 获取用户信息收集时的录屏视频； 将所述录屏视频转换为按时间排序的视频帧序列； 利用预训练完成的轻量级神经网络对所述视频帧序列中的每个视频帧进行分类， 得到 关键视频帧序列； 对所述关键视频帧序列进行操作场景识别， 得到所述关键视频帧序列对应的操作场景 序列； 根据所述操作场景序列对所述录屏视频进行信息校验。 2.如权利要求1所述的基于录屏视频的信 息验证方法， 其特征在于， 所述将所述录屏视 频转换为按时间排序的视频帧序列， 包括： 获取所述录屏视频的视频帧率以及预设的目标帧率； 根据所述视频帧率及所述预设的目标帧率计算待抽取的视频帧间隔； 根据所述视频帧间隔从所述录屏视频抽取视频帧集， 并将所述视频帧集按照抽取时间 排序， 得到 视频帧序列。 3.如权利要求2所述的基于录屏视频的信 息验证方法， 其特征在于， 所述根据 所述视频 帧率及所述预设的目标帧率计算待抽取的视频帧间隔， 包括： 利用如下公式计算所述待抽取的视频帧间隔： i＝int{float(f1/f2)+1} 其中， 所述i为视频帧间隔， 所述f1为视频帧率， 所述f2为目标帧率， int为取整函数， float为浮点型数据类型。 4.如权利要求1所述的基于录屏视频的信 息验证方法， 其特征在于， 所述利用预训练完 成的轻量级神经网络对所述视频帧序列中的每 个视频帧进行分类， 包括： 将所述视频帧序列中的每 个视频帧逐个输入至所述预训练完成的轻量级神经网络中； 利用所述轻量级神经网络 中的卷积层对所述每个视频帧进行卷积， 得到所述每个视频 帧的卷积特 征图； 利用所述轻量级神经网络 中的池化层对所述卷积特征图进行池化， 得到所述每个视频 帧的特征向量； 利用预设的激活函数对所述每 个视频帧的特 征向量进行分类， 得到关键 视频帧序列。 5.如权利要求1所述的基于录屏视频的信 息验证方法， 其特征在于， 所述对所述关键视 频帧序列进行操作场景识别， 包括： 逐个对所述关键视频帧序列中的关键视频帧进行文字提取， 得到所述关键视频帧中的 文本信息； 对所述文字信息进行文本分词， 根据所述文本分词的结果确定文本关键词； 将所述文本关键词与 预构建的操作场景集合进行匹配， 得到所述关键视频帧的操作场 景。 6.如权利要求1中所述的基于录屏视频的信 息验证方法， 其特征在于， 所述逐个对所述 关键视频帧序列中的关键 视频帧进行文字提取， 包括： 对所述关键 视频帧进行文字区域 边界检测， 得到文字区域的边界坐标点； 根据所述 边界坐标点将所述关键 视频帧切分为多个文字区域；权　利　要　求　书 1/2 页 2 CN 115471775 A 2利用预设的文字识别模型对所述多个文字区域进行文字识别， 根据所述文本识别的结 果进行文本提取。 7.如权利要求1所述的基于录屏视频的信 息验证方法， 其特征在于， 所述根据 所述操作 场景序列对所述录屏视频进行信息校验， 包括： 获取预设的校验规则， 对所述校验规则进行规则解析， 得到所述校验规则的规则表达 式； 利用所述 规则表达式对所述操作场景序列进行 校验， 得到所述录屏视频的校验结果。 8.一种基于 录屏视频的信息验证装置， 其特 征在于， 所述装置包括： 录屏视频获取模块， 用于获取用户信息收集时的录屏视频； 视频帧序列转 化模块， 用于将所述录屏视频转换为按时间排序的视频帧序列； 关键视频帧序列分类模块， 用于利用预训练完成的轻量级神经网络对所述视频帧序列 中的每个视频帧进行分类， 得到关键 视频帧序列； 操作场景识别模块， 用于对所述关键视频帧序列进行操作场景识别， 得到所述关键视 频帧序列对应的操作场景序列； 录屏视频 校验模块， 用于根据所述操作场景序列对所述录屏视频进行信息校验。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使 所述至少一个处理器能够执行如权利要求 1至7中任意一项 所 述的基于 录屏视频的信息验证方法。 10.一种计算机可读存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现如权利要求1至7中任意 一项所述的基于 录屏视频的信息验证方法。权　利　要　求　书 2/2 页 3 CN 115471775 A 3