(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210461202.0 (22)申请日 2022.04.28 (71)申请人 河南工业大 学 地址 450001 河南省郑州市高新 技术产业 开发区莲 花街100号 (72)发明人 徐文豪　杨威　梁康柏　吴艺博　 牛超　杨卫东　肖乐　段珊珊　 (74)专利代理 机构 北京睿智保诚专利代理事务 所(普通合伙) 11732 专利代理师 杜娟 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06V 20/40(2022.01) G06V 10/82(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 基于阶段特征融合的TSF网络结构及视频行 为识别方法 (57)摘要 本发明公开了一种基于阶段特征融合的TSF 网络结构及视频行为识别方法， 涉及视频动作识 别技术领域， 首先对待识别视频进行视频切片， 得到K段视频； 对每段视频的视频帧进行采样； 将 每段视频采样得到的视频帧按比例输入至Slow 通道和Fast通道， 提取每段视频的时空特征； 通 过邻域特征融合的方法， 使用预测函数获取K个 预测得分； 对所述K个预测得分进行聚合， 得到待 识别视频的预测得分； 依据待识别视频的预测得 分， 得到待识别视频的识别结果。 本发明方案可 以更加充分的提取长时域特 征， 准确率更高。 权利要求书2页 说明书6页 附图3页 CN 114781530 A 2022.07.22 CN 114781530 A 1.一种基于阶段 特征融合的TSF网络结构， 其特 征在于， 包括以下部分： 视频切片模块， 用于对待识别视频进行视频切片， 得到K 段视频； 时空特征提取模块， 用于对每段视频的视频帧进行采样； 将每段视频采样得到的视频 帧按比例输入至Sl ow通道和Fast通道， 提取每段视频的时空特 征； 预测模块， 用于通过邻域特 征融合的方法， 使用预测函数获取 K个预测得分； 聚合模块， 用于对K个预测得分进行聚合， 得到待识别视频的预测得分； 依据待识别视 频的预测得分， 得到待识别视频的识别结果。 2.一种基于阶段 特征融合的视频 行为识别方法， 其特 征在于， 包括以下步骤： 步骤1、 对待识别视频进行视频切片， 得到K 段视频； 步骤2、 对每段视频的视频帧进行采样； 将每段视频采样得到的视频帧按比例输入至 Slow通道和Fast通道， 提取每段视频的时空特 征； 步骤3、 通过邻域特征融合的方法， 基于每段视频的时空特征， 使用预测函数获取K段视 频的K个预测得分； 步骤4、 对K个预测得分进行聚合， 得到待识别视频的预测得分； 依据待识别视频的预测 得分， 得到待识别视频的识别结果。 3.根据权利要求2所述的一种基于阶段特征融合的视频行为识别方法， 其特征在于， 所 述步骤2中， 使用非对称稀疏采样方法， 对每段视频的视频帧进行采样。 4.根据权利要求2所述的一种基于阶段特征融合的视频行为识别方法， 其特征在于， 所 述步骤3中， K个预测得分包括第一段视频的初步预测得分和剩下的K ‑1段视频的K ‑1个阶段 性预测得分。 5.根据权利要求4所述的一种基于阶段特征融合的视频行为识别方法， 其特征在于， 所 述步骤3中， 邻域特 征融合的方法具体为： 依据第一段视频的时空特 征， 通过预测函数直接得到初步预测得分； 从第二段视频开始， 每段视频得到的时空特征都分别与 前面所有段视频的时空特征进 行特征矩阵拼接， 再 经过预测函数 得到阶段性预测得分。 6.根据权利要求2所述的一种基于阶段特征融合的视频行为识别方法， 其特征在于， 所 述步骤3中， 预测函数为Softmax函数。 7.根据权利要求2所述的一种基于阶段特征融合的视频行为识别方法， 其特征在于， 所 述步骤4中， 使用分段共识函数对K个预测得分进行聚合。 8.根据权利要求2所述的一种基于阶段特征融合的视频行为识别方法， 其特征在于， 所 述步骤4中， 所述待识别视频的预测得分包括每种行为标签的预测得分， 以每种行为标签的 预测得分为置信度， 选取置信度最高的行为标签对应的行为类别， 作为待识别视频 的识别 结果。 9.根据权利要求2所述的一种基于阶段特征融合的视频行为识别方法， 其特征在于， 基 于损失函数， 使用反向传播 算法， 对预测函数的参数进行优化迭代； 所述损失函数表示 为： 其中C为动作分类的类别数， yi为第i类动作的置信度， Gi为第i类动作的阶段一致性函 数得到的值， Gj为第j类动作的阶段一 致性函数得到的值， Gi可表示为：权　利　要　求　书 1/2 页 2 CN 114781530 A 2权　利　要　求　书 2/2 页 3 CN 114781530 A 3