(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211151940.1 (22)申请日 2022.09.21 (71)申请人 华侨大学 地址 362000 福建省泉州市城华北路269号 (72)发明人 杜吉祥　王剑波　张洪博　翟传敏　 陈雁　雷庆　 (74)专利代理 机构 厦门智慧呈 睿知识产权代理 事务所(普通 合伙) 35222 专利代理师 王玮婷 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/764(2022.01) (54)发明名称 基于级联的种子区域生长模块的弱监督时 序动作定位方法 (57)摘要 本发明实施例提供一种基于级联的种子区 域生长模块的弱监督时序动作定位方法， 涉及视 频动作识别技术领域。 其中， 这种弱监督时序动 作定位方法包含步骤S1至步骤S5。 S1、 获取待识 别视频。 S2、 根据待识别视频， 提取时序特征。 S3、 将时序特征输入预先训练好的弱监督时序动作 分类模型， 获取待识别类激活序列， 并根据待识 别类激活序列， 获取视频级动作分类得分。 S4、 获 取动作分类阈值， 并根据动作分类阈值对视频级 分类得分进行判断， 获取待识别视频包含的动作 类别。 S5、 根据动作类别和待识别类激活序列， 获 取动作类别在待识别视频中的起止时刻。 解决现 有的弱监督时序动作定位方法会陷入局部最优 的问题， 大 大提高了 视频中动作识别的精确度。 权利要求书2页 说明书8页 附图3页 CN 115439790 A 2022.12.06 CN 115439790 A 1.基于级联的种子区域 生长模块的弱监 督时序动作定位方法， 其特 征在于， 包 含： 获取待识别视频； 根据所述待识别视频， 提取时序特 征； 将所述时序特征输入预先训练好的弱监督时序动作分类模型， 获取待识别类激活序 列， 并根据所述待识别类激活序列， 获取视频级动作分类得分； 获取动作分类阈值， 并根据所述动作分类阈值对所述视频级分类得分进行判断， 获取 所述待识别视频包 含的动作类别； 根据所述动作类别和所述待识别类激活序列， 获取所述动作类别在所述待识别视频中 的起止时刻； 所述弱监督时序动作分类模型包括用以根据所述时序特征提取初始种子的初始种子 提取模块， 以及级联设置的至少两个种子区域 生长模块； 所述种子区域 生长模块用于： 根据所述时序特 征， 获取原 始类激活序列； 根据所述原始类激活序列和前一个模块输出的种子， 通过种子生长策略， 获取扩张后 的类激活序列； 根据所述时序特征和所述扩张后的类激活序列， 进行对抗擦 除， 获取擦 除后的类激活 序列； 将所述原始类激活序列和所述擦除后的类激活序列融合， 获取所述待识别类激活序 列。 2.根据权利要求1所述的基于级联的种子区域生长模块的弱监督时序动作定位方法， 其特征在于， 所述初始种子提取模块包括基于类激活序列的模型和第一种子提取模型； 所述基于类激活序列的模型， 用于根据所述时序特 征， 获取初始类激活序列； 所述第一种子提取模块， 用于根据所述初始类激活序列， 提取各个动作类别评分最高 的K个时序点， 组成所述初始种子 。 3.根据权利要求1所述的基于级联的种子区域生长模块的弱监督时序动作定位方法， 其特征在于， 所述弱监督时序动作分类模型还包括配置于级联设置的种子区域生长模块之 间的第二种子提取模块； 所述第二种子提取模块， 用于根据所述待识别类激活序列， 提取各个动作类别评分最 高的K个时序点， 组成用以输入下一个种子区域 生长模块的种子 。 4.根据权利要求1所述的基于级联的种子区域生长模块的弱监督时序动作定位方法， 其特征在于， 获取待识别类激活序列， 并根据所述待识别类激活序列， 获取视频级动作分类 得分， 具体包括： 根据所述待识别激活序列， 分别对各个动作类别的得分进行融合， 获取各个动作分类 的视频级得分。 5.根据权利要求4所述的基于级联的种子区域生长模块的弱监督时序动作定位方法， 其特征在于， 所述弱监督时序动作分类模型还包括配置于最后一个种子区域生长模块之后 的第三种子提取模块； 所述第三种子提取模块， 用于根据最后 一个种子区域生长模块输出的待识别类激活序 列， 提取各个动作类别得分最高的K个时序点， 组成最终输出的种子； 获取待识别类激活序列， 并根据所述待识别类激活序列， 获取视频级动作分类得分， 具权　利　要　求　书 1/2 页 2 CN 115439790 A 2体包括： 根据所述最终输出的种子， 分别对各个动作类别的K个得分进行加权求均值， 获取各个 动作类别的视频级得分。 6.根据权利要求1所述的基于级联的种子区域生长模块的弱监督时序动作定位方法， 其特征在于， 获取动作分类阈值， 并根据所述动作分类阈值对所述视频级分类得分进行判 断， 获取所述待识别视频包 含的动作类别， 具体包括： 获取动作分类阈值； 其中， 所述动作分类阈值 通过网格搜索确定； 根据所述动作分类阈值， 分别对各个动作分类的视频级得分进行判断； 当视频级得分 超过所述动作分类阈值时， 认定待识别视频包含该动作类别， 获取所述待识别视频包含的 动作类别。 7.根据权利要求1所述的基于级联的种子区域生长模块的弱监督时序动作定位方法， 其特征在于， 根据所述动作类别和所述待识别类激活序列， 获取所述动作类别在所述待识 别视频中的起止时刻， 具体包括： 根据所述动作类别， 从所述待识别类激活序列中提取 该动作类别的时序激活序列； 根据所述动作分类阈值， 从所述 时序激活序列中提取得分大于所述动作分类 阈值的连 续序列， 获取 所述动作类别在所述待识别视频中的起止时刻。 8.根据权利要求1至7任意一项所述的基于级联的种子区域生长模块的弱监督时序动 作定位方法， 其特 征在于， 根据所述时序特 征， 获取原 始类激活序列， 具体包括： 根据所述时序特 征， 通过一层1 ‑D卷积， 获取 所述原始类激活序列； 根据所述时序特征和所述扩张后的类激活序列， 进行对抗擦 除， 获取擦 除后的类激活 序列， 具体包括： 根据所述时序特征对所述扩张后的类激活序列， 进行对抗擦除， 然后通过1 ‑D卷积， 获 取所述擦除后的类激活序列； 将所述原始类激活序列和所述擦除后的类激活序列融合， 获取所述待识别类激活序 列， 具体包括： 将所述原始类激活序列和所述擦除后的类激活序列求均值进行融合， 获取所述待识别 类激活序列。 9.根据权利要求1至7任意一项所述的基于级联的种子区域生长模块的弱监督时序动 作定位方法， 其特 征在于， 根据所述待识别视频， 提取时序特 征， 具体包括： 根据所述待识别视频， 通过基于双流的特征提取模型进行特征提取， 获取所述时序特 征； 所述时序特 征包括RGB特 征和光流特征。权　利　要　求　书 2/2 页 3 CN 115439790 A 3