(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210545192.9 (22)申请日 2022.05.19 (71)申请人 招商银行股份有限公司 地址 518000 广东省深圳市福田区深南大 道7088号招商银行 大厦 申请人 中国科学技术大学 (72)发明人 李国鸣　赵阳　潘涛　朱勰戎　 董兰芳　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 秦晓君 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/30(2022.01)G06V 10/34(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/10(2019.01) (54)发明名称 手势识别方法及装置、 存 储介质及电子设备 (57)摘要 本发明提供一种手势识别方法及装置、 存储 介质及电子设备， 该方法包括： 获取经过预处理 的骨架序列； 确定骨架序列中每帧骨架图的各个 关节点的坐标； 基于每帧骨架图的各个 关节点的 坐标， 确定每帧骨架图的关节 点集距离特征以及 关节点集方向特征； 调用预设的特征提取模块， 提取骨架序列的运动轨迹特征； 对骨架序列的运 动轨迹特征、 每帧骨架图的关节 点距离特征以及 关节点集方向特征进行处理， 得到骨架序列的手 势识别结果。 通过使用关节点的坐标可以快速的 提取出骨架 图的关节点集距离特征和关节点集 方法特征， 整个过程无需构建复杂及计算量大的 模型， 减少了手势识别的复杂度和计算量， 以便 应用于低性能、 低功耗的智能设备， 减少手势识 别的成本 。 权利要求书2页 说明书15页 附图7页 CN 114898404 A 2022.08.12 CN 114898404 A 1.一种手势 识别方法， 其特 征在于， 应用于手势 识别装置， 包括： 获取经过预处理的骨架序列； 确定所述骨架序列中每帧骨架图的各个关节点的坐标； 基于每帧所述骨架图的各个关节点的坐标， 确定每帧所述骨架图的关节点集距离特 征； 基于每帧所述骨架图的各个关节点的坐标， 确定每帧所述骨架图的关节点集方向特 征； 调用预设的特 征提取模块， 提取 所述骨架序列的运动轨 迹特征； 对所述骨架序列的运动轨迹特征、 各帧所述骨架图的关节点集距离特征以及关节点方 向特征进行处 理， 得到所述骨架序列的手势 识别结果。 2.根据权利要求1所述的方法， 其特 征在于， 骨架序列的预处 理的过程包括： 采集待识别视频； 从所述待识别视频中提取 出初始的骨架序列； 对所述初始的骨架序列进行降噪处 理， 得到降噪后的骨架序列； 对降噪后的骨架序列进行归一 化处理， 完成对骨架序列的预处 理。 3.根据权利要求1所述的方法， 其特征在于， 所述基于每帧所述骨架图的各个关节点的 坐标， 确定每帧所述骨架图的关节点 集距离特 征， 包括： 对于每帧所述骨架图， 将该帧骨架图中的各个关节点两两进行组合， 得到多个第一关 节点组； 对于每帧所述骨架图， 应用该帧骨架图中每个关节点的坐标， 确定该帧骨架图的每个 第一关节点组的欧式距离， 并对各个所述欧式距离进行处理， 得到该帧骨架图的关节点集 距离特征。 4.根据权利要求1所述的方法， 其特征在于， 所述基于每帧所述骨架图的各个关节点的 坐标， 确定每帧所述骨架图的关节点 集方向特 征， 包括： 在每帧所述骨架图的各个关节点中选择起始关节点； 对于每帧所述骨架图， 将该骨架图的起始关节点与该骨架图中剩余的每个关节点进行 匹配， 得到多个第二关节点组； 基于每帧所述骨架图的各个关节点的坐标， 确定每帧所述骨架图的每个第 二关节点组 的偏移量； 基于每帧所述骨架图的各个偏移量， 得到每帧所述骨架图的关节点方向锥特 征； 确定每帧所述骨架图的无向图， 所述无向图由所述骨架图的各个关节点组成； 对于每帧所述骨架图， 应用所述骨架图的各个关节点的坐标， 对所述骨架图的无向图 进行处理， 得到所述骨架图的关节点方向树特 征； 基于每帧所述骨架图的关节点方向锥特征和关节点方向树特征， 得到每帧所述骨架图 的关节点 集方向特 征。 5.根据权利要求4所述的方法， 其特征在于， 所述应用所述骨架图的各个关节点的坐 标， 对所述骨架图的无向图进行处 理， 得到所述骨架图的关节点方向树特 征， 包括： 创建第一节点列表、 第二节点列表以及特 征列表； 在所述无向图的各个关节点中选择根关节点， 并将所述根关节点加入所述第 一节点列权　利　要　求　书 1/2 页 2 CN 114898404 A 2表和第二节点列表中； 判断所述第一节点列表是否为空； 若确定所述第一节点列表不 为空， 则从所述第一节点列表中输出目标关节点； 基于所述第 二节点列表和所述目标关节点， 判断所述无向图的边集中是否存在与 所述 目标关节点对应的无向边； 若确定所述无向图的边集中存在与 所述目标关节点对应的无向边， 则将与 所述目标关 节点对应的各个无向边均确定为目标 无向边； 基于每个所述目标无向边的关节点的坐标， 确定每个所述目标无向边的向量， 并将各 个所述向量添加至所述特 征列表中； 基于每个所述目标无向边的两个关节点， 更新所述第一节点列表和所述第二节点列 表， 并返回执 行判断所述第一节点列表是否为空的步骤； 若确定所述第一节点列表为空， 则基于所述特征列表中的各个向量， 得到所述骨架图 的关节点方向树特 征。 6.根据权利要求5所述的方法， 其特 征在于， 还 包括： 若确定所述无向图的边集中不存在与所述目标关节点对应的无向边， 则返回执行判断 所述节点列表是否为空的步骤。 7.一种手势 识别装置， 其特 征在于， 包括： 获取单元， 用于获取 经过预处理的骨架序列； 第一确定单 元， 用于确定所述骨架序列中每帧骨架图的各个关节点的坐标； 第二确定单元， 用于基于每帧所述骨架图的各个关节点的坐标， 确定每帧所述骨架图 的关节点 集距离特 征； 第三确定单元， 用于基于每帧所述骨架图的各个关节点的坐标， 确定每帧所述骨架图 的关节点 集方向特 征； 提取单元， 用于调用预设的特 征提取模块， 提取 所述骨架序列的运动轨 迹特征； 输出单元， 用于对所述骨架序列的运动轨迹特征、 各帧所述骨架图的关节点集距离特 征以及关节点方向特 征进行处 理， 得到所述骨架序列的手势 识别结果。 8.根据权利要求7 所述的装置， 其特 征在于， 还 包括： 采集单元， 用于采集待识别视频； 第一提取单元， 用于从所述待识别视频中提取 出初始的骨架序列； 降噪单元， 用于对所述初始的骨架序列进行降噪处 理， 得到降噪后的骨架序列； 归一化单元， 用于对降噪后的骨架序列进行归一 化处理， 完成对骨架序列的预处 理。 9.一种存储介质， 其特征在于， 所述存储介质包括存储的指令， 其中， 在所述指令运行 时控制所述存 储介质所在的设备 执行如权利要求1～6任意 一项所述的手势 识别方法。 10.一种电子设备， 其特征在于， 包括存储器， 以及一个或者一个以上的指令， 其中一个 或者一个以上指令存储于存储器中， 且经配置以由一个 或者一个以上 处理器执行如权利要 求1～6任意 一项所述的手势 识别方法。权　利　要　求　书 2/2 页 3 CN 114898404 A 3