(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210484043.6 (22)申请日 2022.05.05 (65)同一申请的已公布的文献号 申请公布号 CN 114789444 A (43)申请公布日 2022.07.26 (73)专利权人 山东省人工智能研究院 地址 250013 山东省济南市历下区科院路 19号 专利权人 齐鲁工业大学 (72)发明人 舒明雷　张铁译　陈超　王若同　 刘照阳　 (74)专利代理 机构 济南泉城专利商标事务所 37218 专利代理师 支文彬 (51)Int.Cl. B25J 9/16(2006.01) (56)对比文件 CN 113967909 A,202 2.01.25 CN 111716361 A,2020.09.2 9 CN 112894809 A,2021.0 6.04 CN 114131617 A,202 2.03.04CN 113134839 A,2021.07.20 CN 112975977 A,2021.0 6.18 CN 113427483 A,2021.09.24 CN 113635297 A,2021.1 1.12 CN 10815 3153 A,2018.0 6.12 CN 112506044 A,2021.0 3.16 CN 108052004 A,2018.0 5.18 CN 105291102 A,2016.02.0 3 CN 111290269 A,2020.0 6.16 CN 113319857 A,2021.08.31 CN 106483964 A,2017.0 3.08 CN 111975746 A,2020.1 1.24 US 2018107174 A1,2018.04.19 WO 2020239181 A1,2020.12.0 3 KR 20210 065738 A,2021.0 6.04 JP 2019020826 A,2019.02.07 杜志江等.基 于模糊强化学习的微创外科手 术机械臂人机交 互方法. 《机 器人 ROBOT》 .2017, 全文. 文闻等.基 于深度强化学习的空间机 械臂柔 顺捕获控制方法研究. 《空间控制技 术与应用》 .2022,全文. 审查员 尚妍梅 (54)发明名称 一种基于深度强化学习和阻抗控制的柔顺 人机接触方法 (57)摘要 一种基于深度强化学习和阻抗控制的柔顺 人机接触方法， 根据本任务的需求， 建立相关的 状态空间， 动作空间和奖励函数， 为实现任务的 柔顺性， 在身体表面建立虚拟接触面， 结合阻抗 控制， 提前获取执行器到达目标部位的虚拟接触 力， 并输入状态空间， 通过深度强化学习算法对 执行器动作的调整， 实现力调整， 完成任务。 实现 了深度强化学习和柔顺控制的结合， 建立了虚拟 接触面， 可提前获取执行器的接触力， 实现对接 触力的调整， 来适应复杂多变的柔顺人机接触任务。 权利要求书2页 说明书5页 附图1页 CN 114789444 B 2022.12.16 CN 114789444 B 1.一种基于深度强化学习和阻抗控制的柔顺人机接触方法， 其特征在于， 包括如下步 骤： a)根据柔顺人机接触任务， 以机械臂底座建立机械臂坐标系， 获得执行器的初始位置 坐标{Px,Py,Pz}及目标部位在机械臂坐标系下的位置坐标{Ox,Oy,Oz}， Px为执行器的X轴 坐 标， Py为执行器的Y轴坐标， Pz为执行器的Z轴坐标， Ox为目标部位的X轴坐标， Oy为目标部位 的Y轴坐标， Oz为目标部位的Z轴坐标； b)通过深度强化学习算法建立状态空间S和动作空间A， S＝{Px′,Py′,Pz′,Ox,Oy,Oz,Fx, Fy,Fz}， 式中Fx为执行器的X轴方向上的接触力分力， Fy为执行器的Y轴方向上的接触力分 力， Fz为执行器的Z轴方向上的接触力分力， Px′为执行器的实时位置的X轴坐标， Py′为执行 器的实时位置的Y轴坐标， Pz′为执行器的实时位置的Z轴坐标； c)对机械臂位姿进行初始化， 初始化后执行器 的实时位置坐标为{P ′x,P′y,P′z}， 得到 执行器初始位置与目标部位之间的距离di及执行器当前位置与目标部位之间的距离dc； d)通过公式r1＝(di‑dc)/di计算得到基于距离的奖励函数r1； e)设定柔 顺人机在接触任务中， 执 行器与目标接触的接触力在m ‑nN之内； f)在距离身体距离为γ处设置虚拟接触面； g)通过公式l ＝|P′z‑Oz|计算得到是否 接触到虚拟接触面的判定条件值 l； h)当l＞γ时， 判定执 行器未接触到虚拟接触面， 状态空间Fx,Fy,Fz均为0； i)当0＜l≤γ时， 判定执行器接触到虚拟接触面， 此时通过阻抗控制得到虚拟接触力 Fv， Fv＝(F′x,F′y,F′z)T， F′x为执行器的X轴方向上的虚拟接触力分力， Fy′为执行器的Y轴方 向上的虚拟接触力分力， Fz′为执行器的Z轴方 向上的虚拟接触力分力， T为转置， 将Fx′、 Fy′ 及Fz′分别等同于状态空间S中的Fx、 Fy及Fz； j)当执行器与身体发生接触时， 真实接触力Fe≠0， 此时停 止对执行器的控制； 步骤b)中 通过公式A＝{ax,ay,az}建立动作 空间， ax为执行器在机械臂坐标系 下的X轴方向上的偏移 量， ay为执行器在机械臂坐标系下的Y轴方向上的偏 移量， az为执行器在机械臂坐 标系下的Z 轴方向上的偏移量； 步骤i)中通过公式 计算得到虚拟接触力Fv， 式中Md、 Bd、 Kd均为 阻抗参数， 为执行器的速度， 为执行器的加速度， λ为常数， I为向量， I＝[0,0,1]T， Δx为 执行器与目标部位之间的距离 差， 2.根据权利要求1所述的基于深度强化学习和阻抗控制的柔顺人机接触方法， 其特征 在于： 步骤a)中通过柔顺人机中的视觉模块获得执行器的位置坐标{Px,Py,Pz}和目标部位 在机械臂坐标系下的位置坐标{Ox,Oy,Oz}。 3.根据权利要求2所述的基于深度强化学习和阻抗控制的柔顺人机接触方法， 其特征 在于： 步骤c)中通过公式 计算得到执行器当前位置与目 标部位之间的距离dc， 通过公式 计算得到执行器初始位 置与目标部位之间的距离di。 4.根据权利要求1所述的基于深度强化学习和阻抗控制的柔顺人机接触方法， 其特征权　利　要　求　书 1/2 页 2 CN 114789444 B 2在于： 步骤e)中m取值 为1， n的取值 为7。 5.根据权利要求1所述的基于深度强化学习和阻抗控制的柔顺人机接触方法， 其特征 在于： 步骤b)中深度强化学习算法为P PO‑clip算法。 6.根据权利要求1所述的基于深度强化学习和阻抗控制的柔顺人机接触方法， 其特征 在于， 还包括在步骤j)后执行步骤h)： 当真实接触力Fe大于nN时， 立即停止执行器运行， 并 初始化机 械臂。 7.根据权利要求1所述的基于深度强化学习和阻抗控制的柔顺人机接触方法， 其特征 在于： 还包括利用奖励函数r训练深度强化学习算法。 8.根据权利要求7所述的基于深度强化学习和阻抗控制的柔顺人机接触方法， 其特征 在于： 奖励函数r＝r1+r2+r3+r4， 式中当机械臂探索范围为 时r2＝0， 如果机械 臂探索范围不为 时r2＝‑1， 式中Xmin为执行器在机械臂坐标系的X轴方向上所 能运行到达的最小值， Xmax为执行器在机械臂坐标系的X轴方向上所能运行到达的最大值， Ymin为执行器在机械臂坐标系的Y轴方向上所能运行到达的最小值， Ymax为执行器在机械臂 坐标系的Y轴方向上所能运行到达的最大值， Zmin为执行器在机械臂坐标系的Z轴方向上所 能运行到达的最小值， Zmax为执行器在机械臂坐标系的Z轴方向上所能运行到达的最大值； 设置机械臂最大步数为1500步， 当机械臂调整步数大于1500步时， r3＝‑1， 停止运行， 初始 化机械臂； 如果真实接触力Fe在Z轴方向上的分力在m ‑nN之间时， r4＝1， 如果真实接触力Fe 在Z轴方向上的分力不在m ‑nN之间时， r4＝‑1。权　利　要　求　书 2/2 页 3 CN 114789444 B 3