(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211036063.3 (22)申请日 2022.08.27 (71)申请人 华为技术有限公司 地址 518129 广东省深圳市龙岗区坂田华 为总部办公楼 (72)发明人 赵煜　杜卓伦　叶军涛　刘孟飞　 陈辉　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 易浩球 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 40/20(2022.01) G06V 10/40(2022.01)G06V 10/80(2022.01) G06V 10/84(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06N 3/08(2006.01) G06Q 50/20(2012.01) (54)发明名称 注意力检测方法、 装置及存 储介质 (57)摘要 本申请实施例提供一种注 意力检测方法、 装 置及存储介质。 该方法包括： 获取目标的动作视 频； 根据所述动作视频检测出所述目标的至少一 个第一高阶行为特征向量， 所述第一高阶行为特 征向量表征包含语义信息的行为动作特征； 根据 所述至少一个第一高阶行为特征向量得到所述 目标的注意力值。 本申请实施例， 通过获取目标 的动作视频， 并根据动作视频检测出目标的高阶 行为特征向量， 进而根据该高阶行为特征向量得 到目标的注意力值。 采用该手段， 由于高阶行为 特征与注 意力值之间具有显著的关联性， 因此相 较于现有技术基于低阶特征得到注 意力值， 本方 案采用基于高阶行为特征来得到注 意力值， 使 得 注意力的检测更加准确、 精度更高。 权利要求书4页 说明书29页 附图8页 CN 115457433 A 2022.12.09 CN 115457433 A 1.一种注意力检测方法， 其特 征在于， 包括： 获取目标的动作视频； 根据所述动作视频检测出所述目标的至少一个第 一高阶行为特征向量， 所述第 一高阶 行为特征向量表征包 含语义信息的行为动作特 征； 根据所述至少一个第一高阶行为特 征向量得到所述目标的注意力值。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 根据所述动作视频检测出 所述目标的低阶行为特 征向量； 所述根据所述至少一个第一高阶行为特 征向量预测得到所述目标的注意力值， 包括： 将所述至少一个第 一高阶行为特征向量和所述低阶行为特征向量进行融合处理， 以得 到融合后的行为特 征向量； 根据所述融合后的行为特 征向量得到所述目标的注意力值。 3.根据权利要求1或2所述的方法， 其特征在于， 所述根据所述动作视频检测出所述目 标的至少一个第一高阶行为特 征向量， 包括： 根据所述动作视频 得到至少一个第二高阶行为特 征向量； 根据所述至少一个第二高阶行为特征向量和预设数值向量得到至少一个第一高阶表 征向量， 所述至少一个第一高阶表征向量与所述至少一个第二高阶行为特征向量对应， 所 述预设数值向量表征所述至少一个第一高阶行为特征向量中任意两个第一高阶行为特征 向量之间的相关性； 根据所述至少一个第一高阶表征向量预测得到所述至少一个第一高阶行为特 征向量。 4.根据权利要求3所述的方法， 其特征在于， 所述预设数值向量是通过如下方式进行训 练得到的： 根据多个动作视频样本得到 至少一个第二高阶行为特 征向量； 根据所述至少一个第二高阶行为特征向量与初始的数值向量的乘积得到至少一个第 一高阶表征向量； 根据所述至少一个第一高阶表征向量预测得到 至少一个第一高阶行为特 征预测值； 根据所述至少一个第 一高阶行为特征预测值获取损失值， 若所述损失值未达到预设条 件， 调整所述初始的数值向量， 并重复执行上述步骤， 直到达到所述预设条件， 将达到所述 预设条件时的数值向量作为所述预设数值向量， 其中， 所述损失值对应的损失函数是根据 所述至少一个第一高阶行为特征预测 值和所述多个动作视频样本中的第一高阶行为特征 标注值构建的。 5.根据权利要求3所述的方法， 其特征在于， 所述预设数值向量是通过如下方式进行训 练得到的： 获取多个动作视频样本标注值， 并根据所述多个动作视频样本标注值和初始的数值向 量的乘积得到 至少一个第一高阶表征向量； 根据所述至少一个第一高阶表征向量预测得到 至少一个第一高阶行为特 征预测值； 根据所述至少一个第 一高阶行为特征预测值获取损失值， 若所述损失值未达到预设条 件， 调整所述初始的数值向量， 并重复执行上述步骤， 直到达到所述预设条件， 将达到所述 预设条件时的数值向量作为所述预设数值向量， 其中， 所述损失值对应的损失函数是根据 所述至少一个第一高阶行为特 征预测值和所述多个动作视频样本标注值构建的。权　利　要　求　书 1/4 页 2 CN 115457433 A 26.根据权利要求1或2所述的方法， 其特征在于， 所述根据所述动作视频检测出所述目 标的至少一个第一高阶行为特 征向量， 包括： 根据所述动作视频得到第 二高阶表征向量， 所述第 二高阶表征向量表征至少一个包含 语义信息的行为动作特 征； 根据所述第二高阶表征向量预测得到所述至少一个第一高阶行为特 征向量。 7.根据权利要求1至6任一项所述的方法， 其特征在于， 所述目标的注意力值的概率分 布为注意力在所述至少一个第一高阶行为特征向量的联合概率分布上 的期望， 其中， 所述 目标的注意力值 为所述概率分布最大时对应的注意力值。 8.根据权利要求1至7任一项所述的方法， 其特 征在于， 所述方法还 包括： 根据所述至少一个第一高阶行为特 征向量得到所述目标的至少一个高阶行为。 9.一种注意力检测方法， 其特 征在于， 包括： 获取目标的动作视频； 根据所述动作视频检测出所述目标的第 二高阶表征向量， 所述第 二高阶表征向量表征 至少一个包 含语义信息的行为动作特 征； 根据所述第二高阶表征向量得到所述目标的注意力值。 10.根据权利要求9所述的方法， 其特 征在于， 所述方法还 包括： 根据所述动作视频检测出 所述目标的低阶行为特 征向量； 所述根据所述第二高阶表征向量得到所述目标的注意力值， 包括： 将所述第二高阶表征向量和所述低阶行为特 征向量进行融合处 理， 以得到融合向量； 根据所述融合向量得到所述目标的注意力值。 11.根据权利要求9所述的方法， 其特 征在于， 所述方法还 包括： 根据所述动作视频检测出 所述目标的低阶行为特 征向量； 所述根据所述第二高阶表征向量得到所述目标的注意力值， 包括： 根据所述第 二高阶表征向量预测得到至少一个第 一高阶行为特征向量， 所述第 一高阶 行为特征向量表征包 含语义信息的行为动作特 征； 根据所述至少一个第一高阶行为特征向量和所述目标的低阶行为特征向量得到所述 目标的注意力值。 12.一种注意力检测装置， 其特 征在于， 包括： 获取模块， 用于获取目标的动作视频； 检测模块， 用于根据所述动作视频检测出所述目标的至少一个第一高阶行为特征向 量， 所述第一高阶行为特 征向量表征包 含语义信息的行为动作特 征； 处理模块， 用于根据所述至少一个第一高阶行为特 征向量得到所述目标的注意力值。 13.根据权利要求12所述的装置， 其特 征在于， 所述检测模块， 还用于： 根据所述动作视频检测出 所述目标的低阶行为特 征向量； 所述处理模块， 用于： 将所述至少一个第 一高阶行为特征向量和所述低阶行为特征向量进行融合处理， 以得 到融合后的行为特 征向量； 根据所述融合后的行为特 征向量得到所述目标的注意力值。 14.根据权利要求12或13所述的装置， 其特 征在于， 所述检测模块， 用于：权　利　要　求　书 2/4 页 3 CN 115457433 A 3