(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111680863.4 (22)申请日 2021.12.31 (71)申请人 魔视智能科技 （上海） 有限公司 地址 201203 上海市浦东 新区张衡路10 00 弄20号 (72)发明人 余燕清　张如高　虞正华　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 王娜 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/59(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/46(2022.01)G06V 10/82(2022.01) (54)发明名称 一种动作识别模型构建方法、 装置、 存储介 质及电子设备 (57)摘要 本发明公开了一种动作识别模 型构建方法、 装置、 存储介质及电子设备， 所述方法包括： 获取 图像训练样本并将所述图像训练样本输入至目 标神经网络； 利用所述目标神经网络中的检测分 支网络对所述图像训练样本中每一张图像进行 处理得到对应的第一方向向量、 第二方向向量、 第三方向向量； 根据每一张图像的目标人物的动 作状态和所述第一方向向量、 第二方向向量、 第 三方向向量对预设神经网络模型进行训练得到 动作识别模 型。 该方法通过目标神经网络可以达 到实时的性能； 通过每一张图像的动作状态以及 对应的方向向量进行训练得到的动作识别模型 不需要进行复杂的后处理， 可以直接识别细粒度 的动作。 权利要求书3页 说明书11页 附图4页 CN 114463842 A 2022.05.10 CN 114463842 A 1.一种动作识别模型构建方法， 其特 征在于， 包括如下步骤： 获取图像训练样本并将所述图像训练样本 输入至目标神经网络； 利用所述目标神经网络中的检测分支网络对所述图像训练样本中每一张图像中包含 的目标人物整个身体、 待识别动作对应的目标人物关键部位以及待识别动作作用物体分别 进行检测得到所述目标人物整个身体的多个身体中心点、 所述待识别动作对应的目标人物 关键部位的多个关键部位中心点以及所述待识别动作作用物体的多个物体中心 点， 每一个 身体中心点、 关键 部位中心点以及物体中心点都对应一个方向 向量； 根据所述多个身体中心点及每一个身体中心点对应的方向向量、 所述多个关键部位中 心点及每一个关键部位中心 点对应的方向向量、 所述多个物体中心 点及其每一个物体中心 点对应的方向向量， 利用所述 目标神经网络中的匹配网络进行回归匹配处理， 得到唯一身 体中心点及其对应的方向向量、 唯一关键部位中心 点及其对应的方向向量以及唯一物体中 心点及其对应的方向 向量； 根据所述唯一关键部位中心点及其对应的方向向量与所述唯一物体中心点及其对应 的方向向量确定所述待识别动作对应的目标人物身体作用点距离作用物体的距离中心点 及其对应的方向 向量； 根据所述距离中心点及其对应的方向向量和所述唯一关键部位中心点及其对应的方 向向量确定所述距离中心点与所述唯一关键部位中心点的第一方向向量， 根据所述距离中 心点及其对应的方向向量和所述唯一物体中心点及其对应的方向向量确定所述距离中心 点与所述唯一物体中心 点的第二方向向量， 根据所述唯一身体中心 点及其对应的方向向量 和所述唯一关键部位中心点及其对应的方向向量确定所述唯一身体中心点与所述唯一关 键部位中心点之间的第三方向 向量； 根据每一张图像的目标人物的动作状态和所述第一方向向量、 第二方向向量、 第三方 向向量对预设神经网络模型进行训练得到动作识别模型。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将所述多个身体中心点、 所述多个关键部位中心点以及所述多个物体中心点作为多个 待识别目标中心点； 对于任一种类型的多个待识别目标中心点， 将所述多个待识别目标中心点进行分组； 根据检测置信度对分组后每一组中对应的所述多个待识别目标中心点进行排序； 在所述每一组内计算所述检测置信度最高的待识别目标中心点对应的方向向量与其 他待识别目标中心点对应的方向 向量的距离； 将所述距离与预设阈值进行比较； 对距离小于所述预设阈值的其他中心点与其对应的方向向量进行抑制处理得到所述 检测置信度最高的待识别目标中心 点与其对应的方向向量， 将所述检测置信度最高的待识 别目标中心点与其对应的方向 向量作为所述类型的唯一中心点与其对应的方向 向量。 3.根据权利要求1所述的方法， 其特征在于， 所述目标神经网络包括： VoVNet、 ResNet、 DenseNet、 Ef ficientNet、 Shuf fleNet、 Mobi leNet中的任意 一种。 4.一种动作识别方法， 其特 征在于， 包括如下步骤： 获取待识别图像； 将所述待识别图像输入至所述目标神经网络得到所述第一方向向量、 第二方向向量、权　利　要　求　书 1/3 页 2 CN 114463842 A 2第三方向 向量； 将所述待识别图像以及所述第一方向向量、 第二方向向量、 第三方向向量输入到如权 利要求1－3中任一项所述的动作识别模型构建方法得到的动作识别模型进行处理得到动 作识别结果。 5.一种动作识别模型构建装置， 其特 征在于， 包括： 获取模块， 用于获取图像训练样本并将所述图像训练样本 输入至目标神经网络； 检测模块， 用于利用所述目标神经网络 中的检测分支网络对所述图像训练样本 中每一 张图像中包含的目标人物整个身体、 待识别动作对应的目标人物关键部位以及待识别动作 作用物体分别进 行检测得到所述目标人物整个身体的多个身体中心 点、 所述待识别动作对 应的目标人物关键部位的多个关键部位中心点以及所述待识别动作作用物体的多个物体 中心点， 每一个身体中心点、 关键 部位中心点以及物体中心点都对应一个方向 向量； 匹配模块， 用于根据所述多个身体中心点及每一个身体中心点对应的方向向量、 所述 多个关键部位中心 点及每一个关键部位中心 点对应的方向向量、 所述多个物体中心 点及其 每一个物体中心 点对应的方向向量， 利用所述目标神经网络中的匹配网络进 行回归匹配处 理， 得到唯一身体中心点及其对应的方向向量、 唯一关键部位中心点及其对应的方向向量 以及唯一物体中心点及其对应的方向 向量； 第一确定模块， 用于根据所述唯一关键部位中心点及其对应的方向向量与 所述唯一物 体中心点及其对应的方向向量确定所述待识别动作对应的目标人物身体作用点距离作用 物体的距离中心点及其对应的方向 向量； 第二确定模块， 用于根据所述距离中心点及其对应的方向向量和所述唯一关键部位中 心点及其对应的方向向量确定所述距离中心点与所述唯一关键部位中心点的第一方向向 量， 根据所述距离中心 点及其对应的方向向量和所述唯一物体中心 点及其对应的方向向量 确定所述距离中心 点与所述唯一物体中心点的第二方向向量， 根据所述唯一身体中心点及 其对应的方向向量和所述唯一关键部位中心点及其对应的方向向量确定所述唯一身体中 心点与所述唯一关键 部位中心点之间的第三方向 向量； 训练模块， 用于根据每一张图像的目标人物的动作状态和所述第一方向向量、 第二方 向向量、 第三方向 向量对预设神经网络模型进行训练得到动作识别模型。 6.根据权利要求5所述的装置， 其特 征在于， 所述装置还 包括： 第三确定模块， 用于将所述多个身体中心点、 所述多个关键部位中心点以及所述多个 物体中心点作为多个待识别目标中心点； 分组模块， 用于对于任一种类型的多个待识别目标中心点， 将所述多个待识别目标中 心点进行分组； 排序模块， 用于根据检测置信度对分组后每一组中对应的所述多个待识别目标中心点 进行排序； 计算模块， 用于在所述每一组内计算所述检测置信度最高的待识别目标中心点对应的 方向向量与其 他待识别目标中心点对应的方向 向量的距离； 比较模块， 用于将所述距离与预设阈值进行比较； 处理模块， 用于对距离小于所述预设阈值的其他中心点与其对应的方向向量进行抑制 处理得到所述检测置信度最高的待识别目标中心 点与其对应的方向向量， 将所述检测置信权　利　要　求　书 2/3 页 3 CN 114463842 A 3