(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210468964.3 (22)申请日 2022.04.29 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 陈韦池　曾超　郭靖　刘远　 蔡述庭　熊晓明　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 刘俊 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种基于多源信息深度强化学习的机械臂 控制方法及系统 (57)摘要 本发明涉及机械臂控制技术领域公开了一 种基于多源信息深度强化学习的机械臂控制方 法及系统， 包括以下步骤： S1.采集机械臂的图像 数据及机械臂的本体数据； S2.采用示教学习初 始化力控策略的参数； S3.解析图像数据及机械 臂本体信息数据， 得到图像的联合特征， 并通过 强化学习模型获得实时力控策略； S4.通过初始 化的力控策略的参数更新实时力控 策略， 并通过 更新后的实时力控策略下达运动控制指令给机 械臂进行工作， 采集工作中的图像数据和机械臂 本体信息数据； S5.更新图像数据、 机械臂 本体信 息数据， 回到步骤S3， 不断优化机械臂力控策略。 本发明解决了现有机械臂控制技术获取外界信 息的途径很有限的问题， 且具有采用多源信息输 入， 方便训练的特点。 权利要求书2页 说明书6页 附图3页 CN 114789443 A 2022.07.26 CN 114789443 A 1.一种基于多源信息深度强化学习的机 械臂控制方法， 其特 征在于： 包括以下步骤： S1.采集机 械臂的图像数据及机 械臂的本体数据； S2.采用示教学习初始化力控策略的参数； S3.解析图像数据及机械臂本体信息数据， 得到图像的联合特征， 并通过强化学习模型 获得实时力控策略； S4.通过初始化的力控策略的参数更新实时力控策略， 并通过更新后的实时力控策略 下达运动控制指令给机 械臂进行工作， 采集工作中的图像数据和机 械臂本体信息数据； S5.更新图像数据、 机 械臂本体信息数据， 回到步骤S3， 不断优化机 械臂力控策略。 2.根据权利要求1所述的基于多源信 息深度强化学习的机械臂控制方法， 其特征在于： 所述的图像数据包括深度相机采集到的深度图像数据和RGB相机采集到的RGB图像数据。 3.根据权利要求1所述的基于多源信 息深度强化学习的机械臂控制方法， 其特征在于： 所述的本体数据包括机械臂各个关节的力/力矩传感器的感知数据、 机械臂末端执行器的 状态参数； 所述的状态参数包括末端坐标、 关节角度和角速度。 4.根据权利要求1所述的基于多源信 息深度强化学习的机械臂控制方法， 其特征在于： 所述的力控策略的参数包括机 械臂位姿和线性 二次调节器中的系数矩阵。 5.根据权利要求4所述的基于多源信 息深度强化学习的机械臂控制方法， 其特征在于： 步骤S2， 具体为： S201.通过拖曳机 械臂进行示教学习的数据采集； S202.通过高斯混合模型对获得的示教学习的数据进行建模， 并计算出模型的协方差 与均值， 得到模型的协方差矩阵； S203.通过高斯混合模型的协方差矩阵初始化 二次型调节器的系数矩阵； S204.通过高斯混合模型的均值初始化机 械臂位姿。 6.根据权利要求5所述的基于多源信 息深度强化学习的机械臂控制方法， 其特征在于： 所述的示教学习的数据包括机 械臂的位姿信息、 关节角度信息、 角速度信息 。 7.根据权利要求5所述的基于多源信 息深度强化学习的机械臂控制方法， 其特征在于： 步骤S203， 具体为： 通过高斯混合模型的协方差矩阵初始化 二次型调节器的R矩阵和Q矩阵。 8.根据权利要求5所述的基于多源信 息深度强化学习的机械臂控制方法， 其特征在于： 步骤S3， 具体为： S301.将机械臂的图像数据及本体数据输入卷积神经网络得到若干个模态特 征表示； S302.各个模态特征表示分别通过其对应的神经网络层后统一通过隐藏层， 将通过 隐 藏层后得到的模态映射到联合空间， 得到统一联合特 征； S303.将统一联合联合特 征通过隐藏层得到初始预测； S304.将初始预测输入强化学习模型中得到 机械臂的力控策略。 9.根据权利要求8所述的基于多源信 息深度强化学习的机械臂控制方法， 其特征在于： 通过初始化的力控策略的参数更新实时力控策略， 具体为： 通过初始化的力控策略的二次 型调节器的系数矩阵和机 械臂位姿更新实时力控策略的二次型调节器和机 械臂位姿。 10.一种基于多源信 息深度强化学习的机械臂控制系统， 其特征在于： 包括用于采集机 械臂的图像数据及机械臂的本体数据的感知 模块、 用于采用示教学习初始 化力控策略的参 数的初始 化模块、 用于解析图像数据及机械臂本体信息数据， 得到图像的联合特征， 并通过权　利　要　求　书 1/2 页 2 CN 114789443 A 2强化学习模型获得实时力控策略的学习模块、 用于通过初始 化的力控策略的参数更新实时 力控策略， 并通过更新后的实时力控策略下达运动控制指令给机械臂进行工作， 采集工作 中的图像数据和机 械臂本体信息数据的控制模块。权　利　要　求　书 2/2 页 3 CN 114789443 A 3