(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210489365.X (22)申请日 2022.04.29 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 彭刚　王浩　 (74)专利代理 机构 华中科技大 学专利中心 42201 专利代理师 徐美琳 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种基于复用结构的双阶段机械臂抓取规 划方法和系统 (57)摘要 本发明公开了一种基于复用结构的双阶段 机械臂抓取规划方法和系统， 其中方法包括： 通 过改变抓取场景采集多视角数据， 生成抓取姿 态， 组成抓取姿态预测数据集， 训练复用结构的 抓取姿态预测网络至收敛， 得到抓取姿态预测模 型； 截取抓取姿态预测数据集中点云作为抓取姿 态评估数据集， 训练复用结构的抓取姿态评估网 络至收敛， 得到抓取姿态评估模型； 将待抓取场 景单视角点 云输入抓取姿态预测模 型， 将预测的 抓取姿态输入抓取姿态评估模型， 得到质量评 分， 按照质量评分进行排序并选取排名靠前的K 个抓取姿态， 用于指导机械臂进行抓取作业。 本 发明通过基于复用结构的二阶段深度学习抓取 规划， 实现多目标堆叠场景中未知 物体的鲁棒抓 取。 权利要求书3页 说明书13页 附图3页 CN 114800511 A 2022.07.29 CN 114800511 A 1.一种基于复用结构的双阶段机 械臂抓取规划方法， 其特 征在于， 包括： 将待抓取场景单视角点云输入抓取姿态预测模型， 得到点云中每个点对应的抓取姿 态， 组成抓取姿态 集合， 将抓取姿态 集合中的抓取姿态输入抓取姿态评估模型， 对得到的抓 取姿态集合中各抓取姿态按照质量评分进行排序并选取排名靠前 的K个抓取姿态， 用于指 导机械臂进行抓取作业； 所述抓取姿态预测模型通过如下 方式训练得到： 通过改变抓取场景采集多视角数据， 对多视角数据进行三维重建获取场景完整点云， 利用场景完整点云生成抓取姿态， 组成抓取姿态预测数据集， 利用抓取姿态预测数据集训 练抓取姿态预测网络 至收敛， 得到抓取姿态预测模型； 所述抓取姿态评估 模型通过如下 方式训练得到： 将抓取姿态预测数据集中不与机器人末端夹持器发生碰撞且位于机器人末端夹持器 夹持范围内的点云作为抓取姿态评估数据集， 利用抓取姿态评估数据集训练抓取姿态评估 网络至收敛， 得到抓取姿态评估 模型； 所述抓取姿态预测网络和抓取姿态评估 网络均采用复用结构， 所述复用结构表示除第 一层网络 外， 后续每层网络的输入都与第一层网络的输入数据或上一层网络的输出 连接。 2.如权利要求1所述的一种基于复用结构的双阶段机械臂抓取规划方法， 其特征在于， 所述抓取姿态预测网络中除第一层网络外， 后续每层网络的输入都与第一层网络的输入数 据连接。 3.如权利要求1或2所述的一种基于复用结构的双阶段机械臂抓取规划方法， 其特征在 于， 所述抓取姿态评估网络中除第一层 网络外， 后续每层 网络的输入都与上一层 网络的输 出连接。 4.如权利要求1或2所述的一种基于复用结构的双阶段机械臂抓取规划方法， 其特征在 于， 所述多视角数据包括相机位姿与深度图像， 通过如下 方式采集： 针对某一 抓取姿态， 执 行抓取任务， 通过减少场景中物体数量改变抓取场景； 针对某一抓取姿态， 从外围向中心方向水平推动一定距离， 改变物体位置， 从而改变抓 取场景； 针对某一抓取姿态， 执行抓取动作后放置到场景中心上方， 使其自由下落， 从而改变抓 取场景； 随机选择上述改变抓取场景的方式之一， 若某一抓取姿态执行成功则继续进行多视角 数据采集， 若不能规划成功， 则再从剩余改变抓取场景的方式中随机选择， 若最终没有抓取 姿态被执 行时， 则结束本轮数据采集。 5.如权利要求1或2所述的一种基于复用结构的双阶段机械臂抓取规划方法， 其特征在 于， 所述利用场景完整点云生成抓取姿态的具体方式包括： 对于场景完整点云C中的任意单视角点云C ′， 随机采样n个点， 得到点集P； 针对点集P中 的每个点， 在场景完整点云C中通过半径查询获得某一半径内所有点的法线集合， 由此建立 局部坐标系； 针对点集P中的每个点， 在场景完整点云C中通过半径查询获得某一半径内所有的点的 集合P′， 将局部坐标系围绕y轴旋转 获得抓取坐标系， 将集合P ′中每个点从世界坐标系变换 到抓取坐标系后， 选取集合P ′中满足机器人末端夹持器闭合区域高度范围的点， 组成局部权　利　要　求　书 1/3 页 2 CN 114800511 A 2区域点集； 将抓取坐标系沿着x轴远离被抓取物体方向后退一定距离， 得到抓取姿态初始位置， 沿 着y轴方向设置多组夹持器二指位置， 当局部区域点集中的点云与夹持器二指模 型碰撞， 且 夹持器两个平行手指的闭合区域内含有该点云时， 将该组夹持器二指位置作为该点云的抓 取姿态中的y轴方向的抓取位置； 从该点云的抓取姿态中的y轴方向的所有抓取位置中选取一个居中位置， 然后在抓取 坐标系中以固定步长向x轴 方向推进， 直到该点云与夹持器二指模型碰撞， 将此时的x轴 方 向的推进位置作为该点云的抓取姿态中的x轴方向的抓取位置 。 6.如权利要求5所述的一种基于复用结构的双阶段机械臂抓取规划方法， 其特征在于， 所述抓取姿态预测模型的训练还 包括： 针对局部区域点集中每个点云的抓取姿态进行质量评分， 所述质量评分通过如下方式 计算： 找到局部区域点集中点云对于抓取姿态在y轴上的最大值max与最小值min， 分别统计 满足y＞max ‑thr与y＜min ‑thr条件的点作为两组接触点， 计算每组接触点位置均值作为代 理接触点， thr 表示距离阈值； 依据两个代理接触点组成的向量v， 针对每组接触点， 统计满足v与其中每个点的法线 之间的角 度θy小于预设角 度值的数量， 若数量大于设定值， 则认为此接触点在摩擦锥角 度 为θ时满足力闭合条件， 获取满足力闭合条件的左接触点角度最小值θleft和右接触点角度 最小值θright； 按照以下公式计算 最终抓取姿态质量评估分数score： 其中， scoreleft为左接触点分数， scoreright为右接触点分数， scorey为左右接触点连线 分数。 7.如权利要求6所述的一种基于复用结构的双阶段机械臂抓取规划方法， 其特征在于， 所述抓取姿态预测模型的训练还 包括： 利用抓取姿态预测数据集训练抓取姿态预测网络， 将输出的抓取姿态位置预测偏移量 与真实偏移 量之间的误差作为偏移 量损失函数， 将预测抓取姿态x方向的单位向量与x方向 的真实向量之间的误差作为x方向的损失函数， 将预测抓取姿态y方向的单位向量与y方向 的真实向量之间的误差作为y方向的损失函数， 将预测抓取姿态宽度与真实抓取姿态宽度 之间的误差作为均方差损失函数， 将预测的抓取姿态质量评估分数与真实分数之 间的误差 作为质量评估损失函数， 以偏移量损失函数、 x方向的损失函数、 y方向的损失函数、 均方差 损失函数和质量评估损失函数最小为目标， 训练抓取姿态预测网络 至收敛。 8.如权利要求7所述的一种基于复用结构的双阶段机械臂抓取规划方法， 其特征在于， 所述质量评估损失函数为：权　利　要　求　书 2/3 页 3 CN 114800511 A 3