(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210572857.5 (22)申请日 2022.05.25 (71)申请人 兰州大学 地址 730000 甘肃省兰州市城关区天水南 路222号 (72)发明人 赵东东　阎石　李弘历　周兴文　 李艺昌　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 廖慧贤 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/34(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 动态手势 识别方法、 装置、 设备及存 储介质 (57)摘要 本发明公开了一种动态手势识别方法、 装 置、 设备及存储介质， 方法包括： 获取待处理动态 手势的初始数据集和指尖相对位置信息； 对初始 数据集的初始骨架序列进行预处理得到目标骨 架序列； 将目标骨架序列输入预设的动态手势识 别模型； 基于自注意力模块的自注 意力机制对目 标骨架序列进行手势特征提取得到骨架时空特 征； 基于自注 意力模块的自注 意力机制对指尖相 对位置信息进行自注意力处理得到指 尖特征； 将 骨架时空特征和指尖特征进行融合得到目标特 征张量； 对目标特征张量进行分类头层处理得到 目标分类分数； 获取目标分类分数中最高分类分 数对应的手势标签得到手势分类结果。 本发明保 证手势识别实时性的同时提高了动态手势识别 的准确性和精确性。 权利要求书3页 说明书13页 附图5页 CN 114937285 A 2022.08.23 CN 114937285 A 1.一种动态手势 识别方法， 其特 征在于， 方法包括： 获取待处理动态手势的初始数据集和指尖相对位置信息； 其中， 所述初始数据集包括 手势动作的初始骨架序列； 对所述初始数据集的初始骨架序列进行 预处理， 得到目标骨架序列； 将所述目标骨架序列输入预设的动态手势识别模型； 其中， 所述动态手势识别模型包 括： 自注意力模块； 基于所述自注意力模块的自注意力 机制对所述目标骨架序列进行手势特征提取， 得到 骨架时空特 征； 基于所述自注意力模块的自注意力 机制对所述指尖相对位置信 息进行自注意力处理， 得到指尖特 征； 将所述骨架时空特 征和所述指尖特 征进行融合， 得到目标 特征张量； 对所述目标 特征张量进行分类头层处 理， 得到目标分类分数； 获取所述目标分类分数中最高分类分数对应的手势标签， 得到手势分类结果。 2.根据权利要求1所述的动态手势识别方法， 其特征在于， 所述对所述初始数据集的初 始骨架序列进行 预处理， 得到目标骨架序列， 包括： 对所述初始数据集的所述初始骨架序列进行采样处理， 以得到骨架有效序列； 其中， 所 述骨架有效序列的帧数 大于60帧； 将所述骨架有效序列进行 数据增强处 理， 得到所述目标骨架序列。 3.根据权利要求1所述的动态手势识别方法， 其特征在于， 所述自注意力模块包括： 空 间Transformer模块和时间Tran sformer模块； 所述时空特征包括： 运动轨迹张量； 所述基于 所述自注意力模块的自注意力机制对所述目标骨架序列进 行手势特征提取， 得到骨架时空 特征， 包括： 基于所述空间Transformer模块的所述自注意力机制对所述目标骨架序列进行自注意 力处理， 得到骨架空间特 征； 基于所述时间Transformer模块的所述自注意力机制对所述骨架空间特征进行自注意 力处理， 得到手势关系沿时间维度的运动轨 迹张量。 4.根据权利要求3所述的动态手势识别方法， 其特征在于， 所述空间Transformer模块 包括： 线性投影层、 多个空间Transformer块、 第一池化层， 所述基于所述空间Transformer 模块的所述自注意力机制对所述目标骨架序列进行自注意力处理， 得到所述骨架空间特 征， 包括： 基于所述线性投影层对所述目标骨架序列进行投影映射处 理， 得到骨架嵌入信息； 将预设的空间位置信息嵌入所述骨架嵌入信息， 得到第一初始张量； 基于所述多个空间Transformer块对所述第一初始张量进行自注意力处理， 得到空间 张量； 基于所述第一池化层对所述空间 张量进行池化处 理， 得到所述骨架空间特 征。 5.根据权利要求3所述的动态手势识别方法， 其特征在于， 所述时间Transformer模块 包括： 多个时间Transformer块、 第二池化层； 所述基于所述时间Transformer模块的所述自 注意力机制对所述骨架空间特征进行自注意力处理， 得到手势关系沿时间维度的运动轨迹 张量， 包括：权　利　要　求　书 1/3 页 2 CN 114937285 A 2将预设的时间位置信息嵌入所述骨架空间特 征， 得到初始骨架空间特 征； 基于所述多个时间Transformer块对所述初始骨架空间特征进行自注意力处理， 得到 时间张量； 基于所述第二池化层对所述时间 张量进行池化处 理， 得到运动轨 迹张量。 6.根据权利要求5所述的动态手势识别方法， 其特征在于， 所述指尖特征为指尖张量， 所述将所述骨架时空特 征和所述指尖特 征进行融合， 得到目标 特征张量， 包括： 将所述运动轨迹张量和所述指尖张量进行融合， 得到所述目标 特征张量。 7.根据权利要求1至6任一项所述的动态手势识别方法， 其特征在于， 在将所述目标骨 架序列输入预设的动态手势 识别模型之前， 所述方法还 包括： 对神经网络模型进行训练， 得到动态手势 识别模型， 具体包括： 获取训练数据集和 测试数据集； 根据所述训练数据集对所述神经网络模型进行训练， 得到初始分类分数； 根据所述初始分类分数使用预设的交叉熵损失函数计算所述神经网络模型的损失函 数值； 根据所述损失函数值， 根据 预设的反 向传播算法对所述神经网络模型的参数权重进行 更新和优化， 得到动态手势 识别模型； 对所述动态手势识别模型进行迭代训练， 直到所述损 失函数值达到最小， 得到优化的 动态手势 识别模型； 根据所述测试数据集对所述动态手势识别模型进行校验与优化， 以得到最终的动态手 势识别模型。 8.一种动态手势 识别装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取待处理动态手势的初始数据集和指尖相对位置信 息； 其中， 所述初 始数据集包括手势动作的初始骨架序列； 预处理模块， 用于对所述初始数据集的初始骨架序列进行 预处理， 得到目标骨架序列； 输入模块， 用于将所述目标骨架序列输入预设的动态手势识别模型； 其中， 所述动态手 势识别模型包括： 自注意力模块； 所述自注意力模块， 用于基于自注意力机制对所述目标骨架序列进行手势特征提取， 得到骨架时空特 征； 所述自注意力模块， 还用于基于自注意力 机制对所述指尖相对位置信 息进行自注意力 处理， 得到指尖特 征； 融合模块， 用于将所述骨架时空特 征和所述指尖特 征进行融合， 得到目标 特征张量； 分数计算模块， 用于对所述目标 特征张量进行分类头层处 理， 得到目标分类分数； 分类模块， 用于获取所述目标分类分数中最高分类分数对应的手势标签， 得到手势分 类结果。 9.一种电子设备， 其特 征在于， 包括： 至少一个处 理器， 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行如权利要求1至7任一项所述的方法。权　利　要　求　书 2/3 页 3 CN 114937285 A 3