(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210566231.3 (22)申请日 2022.05.24 (65)同一申请的已公布的文献号 申请公布号 CN 114643586 A (43)申请公布日 2022.06.21 (73)专利权人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 尚伟伟　何浩源　汤新胜　张飞　 江俊　 (74)专利代理 机构 北京凯特来知识产权代理有 限公司 1 1260 专利代理师 郑立明　付久春 (51)Int.Cl. B25J 9/16(2006.01)审查员 沈珍 (54)发明名称 基于深度神经网络的多指灵巧手抓取手势 规划方法 (57)摘要 本发明公开了一种基于深度神经网络的多 指灵巧手抓取手势规划方法， 包括： 步骤1， 根据 采集的包含目标物体的深度图像， 确定多指灵巧 手的手掌第一位姿； 步骤2， 通过坐标系转换， 得 出手掌第二位姿； 步骤3， 根据深度图像和手掌第 二位姿， 利用手势预测 网络得出初始抓取手势； 步骤4， 用抓取质量评估网络对初始抓取手势、 手 掌第一位姿和深度图像， 依据抓取质量评估指标 得出抓取质量的评估值相对多指灵巧手抓取手 势的梯度； 步骤5， 在多指灵巧手的关节空间中利 用梯度上升算法更新抓取手势， 将得出的局部最 优的抓取手势与手掌第二位姿结合作为控制多 指灵巧手的最终抓取位形。 本发 明能得出抓取手 势的局部最优解， 提高多指灵巧手对 未知物体的 抓取成功率。 权利要求书3页 说明书13页 附图3页 CN 114643586 B 2022.09.30 CN 114643586 B 1.一种基于深度神经网络的多指灵巧手抓取手势规划方法， 用于由机械臂末端设置的 多指灵巧手和深度相机组成的物体抓取系统对目标物体的抓取操作中， 其特 征在于， 包括： 步骤1， 根据所述深度相机采集的包含目标物体的深度图像， 利用抓取框检测网络确定 多指灵巧手的相对目标物体的手掌第一 位姿； 步骤2， 通过所述深度相机的相机坐标系与世界坐标系的转换关系， 得出所述多指灵巧 手在世界坐标系中的手掌第二 位姿； 步骤3， 根据 得出所述包含目标物体的深度图像和手掌第 二位姿， 利用手势预测网络得 出初始抓取手势； 步骤4， 将初始抓取手势、 手掌第一位姿、 包含目标物体的深度图像分别输入预先训练 好的抓取质量评估网络中， 依据设定的作为抓取质量评估指标的力封闭指标得出抓取质量 的评估值相对所述多指灵巧手的初始抓取手势的梯度； 所述 抓取质量评估网络包括： 抓取手势处理子网络、 手掌位姿处理子网络、 目标物体局部深度图处理子网络、 目标物 体全局深度图处理子网络和 抓取质量评估子网络； 所述抓取手势处理子网络、 手掌位姿处 理子网络、 目标物体局部深度图处理子网络和目标物体全局深度图处理子网络并列设置， 所述抓取手势处理子网络、 手掌位姿处理子网络、 目标物体局部深度图处理子网络和目标 物体全局深度图处理子网络的输入分别为初始抓取手势、 手掌第一位姿、 目标物体局部深 度图和目标物体全局深度图； 所述抓取质量评估子网络的输入端与所述抓取手势处理子网 络、 手掌位姿处理子网络、 目标物体局部深度图处理子网络和目标物体全局深度图处理子 网络的输出端连接， 该抓取质量评估子网络的输出为抓取质量的评估值相对所述多指 灵巧 手的初始抓取手势的梯度； 步骤5， 在所述多指灵巧手的关节空间中利用梯度上升算法， 沿所述步骤3得出的抓取 质量的评估值相对所述多指灵巧手的初始抓取手势的梯度上升的方向不断更新抓取手势， 确定每次迭代的步长， 不断前向和反向迭代直到梯度收敛， 得出使抓取质量评估值达到局 部最优的抓取手势， 将局部最优的抓取手势与手掌第二位姿 结合作为控制所述多指灵巧手 的最终抓取位形； 用回溯线搜索法确定梯度上升算法每次迭代 时的步长， 对每个初始抓取 手势， 设置最大迭代次数为100， 初始步长为  1， 每次梯度上升步的最大迭代次数为  10， 搜 索的控制参数为α = 0.3， β =0.8。 2.根据权利要求1所述的基于深度神经网络的多指灵巧手抓取手势规划方法， 其特征 在于， 所述步骤1中， 抓取框检测网络按以下方式确定多指 灵巧手的相对目标物体的手掌位 姿， 包括： 所述抓取框检测网络根据所述深度相机采集的包含单个目标物体的深度图像筛选出 该目标物体的最优抓取框， 最优抓取框的中心 点对应于所述多指 灵巧手相对物体的掌心 坐 标， 最优抓取框的旋转角度对应于所述多指灵巧手绕目标物体坐标系z轴逆时针旋转的角 度， 根据最优抓取框的中心 点和最优抓取框的旋转角度确定多指 灵巧手的手掌相对目标物 体的手掌第一 位姿。 3.根据权利要求1或2所述的基于深度神经网络的多指灵巧手抓取手势规划方法， 其特 征在于， 所述 抓取框检测网络采用三级 串联卷积神经网络 。 4.根据权利要求1或2所述的基于深度神经网络的多指灵巧手抓取手势规划方法， 其特 征在于， 所述步骤2中， 按以下方式通过所述深度相机的相机坐标系 与世界坐标系的转换关权　利　要　求　书 1/3 页 2 CN 114643586 B 2系， 得出所述多指灵巧手在世界坐标系中的手掌第二 位姿， 包括： 通过相机坐标系和世界坐标系的转换关系， 得到所述多指灵巧手的掌心在世界坐标系 W中的实际位置和手掌坐标系 P相对于世界坐标系的旋转矩阵， 根据所述旋转矩阵得到所述 多指灵巧手在世界坐标系 W中的手掌第二 位姿。 5.根据权利要求2所述的基于深度神经网络的多指灵巧手抓取手势规划方法， 其特征 在于， 所述步骤3中， 按以下方式根据得出所述包含目标物体的深度图像和手掌第二位姿， 利用手势预测网络得 出初始抓取手势， 包括： 根据筛选出目标物体的最优抓取框的坐标， 在所述深度图像上裁剪出目标物体局部深 度图和目标物体全局深度图， 将所述 目标物体局部深度图、 目标物体全局深度图和手掌第 一位姿作为所述抓取手势预测网络的输入， 由所述抓取手势预测网络输出得到初始 抓取手 势； 所述目标物体局部深度图是以最优抓取框的中心点为中心， 长边与最优抓取框的长边 平行的大小为64 ×128的深度图； 所述目标物体全局深度图是以最优抓取框的中心点为中心， 长边与最优抓取框的长边 平行的大小为128 ×128的深度图。 6.根据权利要求1或5所述的基于深度神经网络的多指灵巧手抓取手势规划方法， 其特 征在于， 所述 抓取手势预测网络构采用CN N‑5网络。 7.根据权利要求5所述的基于深度神经网络的多指灵巧手抓取手势规划方法， 其特征 在于， 所述步骤4中， 按以下方式将初始 抓取手势、 手 掌第一位姿、 包含目标物体的深度图像 分别输入预先训练好的抓取质量评估网络中， 依据设定的作为抓取质量评估指标的力封闭 指标得出抓取质量的评估值相对所述多指灵巧手抓取手势的梯度， 包括： 将所述初始抓取手势、 手掌第一位姿、 目标物体局部深度图和目标全局深度图分别输 入训练好的抓取质量评估网络的四个子网络中， 依据设定的作为抓取质量评估指标的力封 闭指标通过网络前向传播得到抓取质量的评估值， 并控制其他参数不变， 利用反向传播算 法计算抓取质量的评估值相对所述多指灵巧手初始抓取手势的梯度； 设定的所述抓取质量的评估指标为： 当前抓取生成的单位抓取旋量空间内以质心为 圆 心的最大内切球的半径。 8.根据权利要求1所述的基于深度神经网络的多指灵巧手抓取手势规划方法， 其特征 在于， 所述抓取手势处理子网络由2层全连接层和2层批量归一化层组成， 2层全连接层和2 层批量归一化层按一个全连接层后接一个批量归一化层的方式交替设置并依次连接， 各全 连接层神经 元数量为64； 所述手掌位姿处理子网络由2层全连接层和2层批量归一化层组成， 2层全连接层和2层 批量归一化层按一个全连接层后接一个批量归一化层的方式交替设置并依次连接， 各全连 接层神经 元数量为32； 所述目标物体局部深度图处理子网络由4层卷积层、 4层批量归一化层和2层最大池化 层组成， 4层卷积层、 4层批量归一化层和2层最大池化层按以下方式连接： 按一个卷积层后 接一个批量归一化层的方式交替设置并依次连接， 并在两个卷积层和两个批量归一化层后 接一层最大池化层； 前两个卷积层的卷积核 大小为6×6， 后两个卷积层的卷积核 大小为3× 3， 从前至后各卷积层的卷积核的数量依次为8、 16、 32、 64， 各最大池化层的核大小均为2 ×权　利　要　求　书 2/3 页 3 CN 114643586 B 3