(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210578157.7 (22)申请日 2022.05.25 (71)申请人 桂林电子科技大 学 地址 541004 广西壮 族自治区桂林市七 星 区金鸡路1号 (72)发明人 强保华　贾清玉　谢武　 (74)专利代理 机构 桂林文必达专利代理事务所 (特殊普通 合伙) 45134 专利代理师 白洪 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06V 10/778(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 40/16(2022.01) G06V 40/20(2022.01) G10L 15/14(2006.01) B25J 9/16(2006.01) (54)发明名称 基于交互学习的多模态融合机械臂控制方 法 (57)摘要 本发明公开了一种基于交互学习的多模态 融合机械臂控制方法， 该方法利用深度学习相关 技术对多模态信息进行分析和处理， 从而使 得系 统可以获取用户完整且精确的意图。 通过隐马尔 科夫模型(HMM)对语音命令进行准确识别处理； 使用动态时间规整 算法(DTW)实现对动态手势识 别的研究； 利用基于特征融合的表情识别算法来 提取表情图像特征并进行特征融合， 通过对表情 进行识别达到对心理状态的判定， 获取其心理意 图。 此外， 本方法以人机交互为基础， 通过决策树 和Q‑Learning算 法学习新命令和新知 识， 同时利 用学习到的正确信息对原有的知识进行更新， 实 现机械臂自身知识的智能增长， 从而实现对机械 臂控制的优化。 权利要求书1页 说明书9页 附图2页 CN 115114975 A 2022.09.27 CN 115114975 A 1.一种基于交互学习的多模态融合机械臂控制方法， 其特征在于， 所述方法包括以下 步骤： (1)麦克风采集语音信号， 通过基于HMM的语音识别算法进行语音识别， 确定标签信息 并进行特征提取， 得到特 征向量； (2)深度摄像头采集表情数据， 通过基于特征融合的表情识别算法进行特征提取， 得到 特征向量； (3)深度摄像头采集手势图像数据， 通过基于DTW的手势识别算法进行特征提取， 得到 特征向量； (4)将采集到的语音、 表情和手势信息进行融合编码； (5)使用长短期记忆网络将输入的特征信息映射成一个输出的语言序列， 完成人机交 互对话； (6)对步骤(1)中所述语音信号产生的标签进行判断， 在已构建的决策树模型中是否存 在此标签， 如果没有对应的标签， 则决策树自我更新模型； (7)使用Q －Learning算法使机 械臂进行 学习， 并观察机 械臂当前状态S； (8)通过公式 选择一个动作a， 用来确定随机策略的随机度， 其中 T称作温度值； (9)观察机 械臂新的状态s'； (10)从环境中获得即时 回报r； (11)根据 公式Q(s,a)＝(1 ‑β )Q(s,a)+β(r+γmaxQ(s ′,a′))， 对状态S和动作a相应的Q 值进行更新， 如果新的状态s'满足结束条件， 一局结束； 否则S →s'返回到第二步； 其中， β 是 学习率， 0 ≤β <1， γ是折扣参数， (0 ≤γ<1)； (12)使用基于改进FC M方法对机 械臂学到的新知识数据增量进行 更新； (13)使用基于密度峰值聚类算法对机 械臂学到的新知识数据类别进行 更新。权　利　要　求　书 1/1 页 2 CN 115114975 A 2基于交互学习的多模 态融合机械臂控制方 法 技术领域 [0001]本发明涉及自动控制技术领域， 具体涉及 一种基于交互学习的多模态融合机械臂 控制方法。 背景技术 [0002]随着工业自动化的发展， 机械臂控制的研究和应用得到了极大的关注， 同时随着 计算机技术的发展， 一直希望能够找到一种简单快捷的方式控制 机械臂以完成相关动作， 而不是依靠大量复杂又繁琐的编程任务。 目前虽然有部 分依靠模式识别控制机械臂操作的 方法， 但这些方法由于单模态输入及机械臂自身对操作者指令学习程度不同的影响， 经常 导致机械臂完成的动作 与操作者设想其完成的动作存在较大的偏差 。 发明内容 [0003]本发明的目的是提供一种更简便和准确的机械臂控制方法， 所述方法以人机交互 为基础， 通过决策树算法和Q ‑Learning算法学习操作者传授的新命令和新知识， 同时利用 学习到的正确信息对原有的知识进行更新， 实现机械臂自身知识的智能增长， 更好地完成 对机械臂的控制任务。 [0004]本发明所提供的基于交互学习 的多模态融合机械臂控制方法， 主要包括如下步 骤： [0005](1)麦克风采集语音信号， 通过基于HMM的语音识别算法进行语音识别， 确定标签 信息并进行 特征提取， 得到特 征向量。 [0006](2)深度摄像头采集表情数据， 通过基于特征融合的表情识别算法进行特征提取， 得到特征向量。 [0007](3)深度摄像头采集手势图像数据， 通过基于DTW 的手势识别算法进行特征提取， 得到特征向量。 [0008](4)将采集到的语音、 表情和手势信息进行融合编码。 [0009](5)使用长短期记忆网络将输入的特征信息映射成一个输出的语言序列， 完成人 机交互对话。 [0010](6)对步骤(1)中所述语音信号产生的标签进行判断， 在已构建的决策树模型中是 否存在此 标签， 如果没有对应的标签， 则决策树自我更新模型。 [0011](7)使用Q －Learning算法使机 械臂进行 学习， 并观察机 械臂当前状态S。 [0012](8)通过公式 选择一个动作a， 用来确定随机策略的随机 度， 其中T称作温度值。 [0013](9)观察机 械臂新的状态s'。 [0014](10)从环境中获得即时 回报r。说　明　书 1/9 页 3 CN 115114975 A 3