(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210522518.6 (22)申请日 2022.05.13 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 季向阳　符博闻　梁锡权　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 黄德海 (51)Int.Cl. B25J 9/16(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 1/00(2006.01) G06T 7/70(2017.01) (54)发明名称 基于单目六自由度物体姿态估计的机械臂 拼装方法及装置 (57)摘要 本申请公开了一种基于单目六自由度物体 姿态估计的机械臂拼装方法及装置， 其中， 方法 包括： 获取目标物体的实际图像， 并将实际图像 输入至预先训练的六自由度物体位姿回归网络， 得到目标物体的实际六自由度位姿； 根据实际六 自由度位姿确定目标抓取和放置动作， 并根据目 标物体的初始位姿和目标位姿确定目标物体的 目标六自由度旋转和平移动作； 基于目标抓取和 放置动作和/或目标六自由度旋转和平移动作进 行操作的同时， 与平面上的其他目标物体进行三 轴校正操作， 以按照目标位姿对目标物体和其他 目标物体执行拼装动作。 由此， 解决了相关技术 中由于损失了摄像机光轴方向的信息， 未能实现 灵活拼装， 并且未建立完整的系统， 无法满足高 精度拼装 任务等问题。 权利要求书2页 说明书10页 附图2页 CN 114952832 A 2022.08.30 CN 114952832 A 1.一种基于单目六自由度物体姿态估计的机械臂拼装方法， 其特征在于， 包括以下步 骤： 获取目标物体的实际图像， 并将所述实际图像输入至预先训练 的六自由度物体位姿回 归网络， 得到所述目标物体的实际六自由度位姿； 根据所述实际六自由度位姿确定目标抓取和放置动作， 并根据 所述目标物体的初始位 姿和目标位姿确定所述目标物体的目标 六自由度旋转和平 移动作； 以及 基于所述目标抓取和放置动作和/或所述目标六自由度旋转和平移动作进行操作的同 时， 与平面上 的其他目标物体进行三轴校正操作， 以按照所述 目标位姿对所述目标物体和 所述其他目标物体执 行拼装动作。 2.根据权利要求1所述的方法， 其特征在于， 在获取所述目标物体的实 际图像之后， 还 包括： 利用预先训练的2D 目标检测网络获取根据所述实 际图像识别到的所述目标物体的目 标物体区域； 缩放所述目标物体区域， 得到 达到预设尺度的目标物体区域。 3.根据权利要求2所述的方法， 其特征在于， 在获取所述目标物体的实 际图像之前， 还 包括： 建立所述目标物体的三维物体模型； 对所述目标物体的物体表面进行重新采样， 得到所述目标物体的点云模型； 基于所述点云模型， 获取多张训练图像和验证 图像， 以训练所述的2D目标检测网络和 所述六自由度物体位姿回归网络 。 4.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述与平面上的其他目标物体进 行三轴校正操作， 包括： 使用机械臂抓取 所述目标物体， 并将所述目标物体放置在平面上； 沿着多个预设轴多次正交抓取 所述所述目标物体。 5.一种基于单目六自由度物体姿态估计的机 械臂拼装 装置， 其特 征在于， 包括： 获取模块， 用于获取目标物体的实 际图像， 并将所述实 际图像输入至预先训练的六自 由度物体位姿回归网络， 得到所述目标物体的实际六自由度位姿； 确定模块， 用于根据所述实 际六自由度位姿确定目标抓取和放置动作， 并根据所述目 标物体的初始位姿和目标位姿确定所述目标物体的目标 六自由度旋转和平 移动作； 以及 拼装模块， 用于基于所述目标抓取和放置动作和/或所述目标六自由度旋转和平移动 作进行操作的同时， 与平面上 的其他目标物体进行三轴 校正操作， 以按照所述目标位姿对 所述目标物体和所述 其他目标物体执 行拼装动作。 6.根据权利要求5所述的装置， 其特 征在于， 还 包括： 检测模块， 用于利用预先训练的2D目标检测网络获取根据 所述实际图像识别到的所述 目标物体的目标物体区域； 缩放模块， 用于缩放所述目标物体区域， 得到 达到预设尺度的目标物体区域。 7.根据权利要求6所述的装置， 其特 征在于， 还 包括： 建设模块， 用于建立所述目标物体的三维物体模型； 采样模块， 用于对所述目标物体的物体表面进行重新采样， 得到所述目标物体的点云权　利　要　求　书 1/2 页 2 CN 114952832 A 2模型； 训练模块， 用于基于所述点云模型， 获取多张训练图像和验证图像， 以训练所述的2D目 标检测网络和所述六自由度物体位姿回归网络 。 8.根据权利要求5 ‑7所述的装置， 其特 征在于， 所述 拼装模块包括： 第一抓取单元， 用于使用机 械臂抓取 所述目标物体， 并将所述目标物体放置在平面上； 第二抓取单元， 用于沿着多个预设轴多次正交抓取 所述所述目标物体。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如权利要求 1‑4任一项所 述的基于单目六自由度物体姿态估计的机 械臂拼装方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行， 以用于实现如权利要求1 ‑4任一项所述的基于单目六自由度物体姿态估计的机械臂 拼装方法。权　利　要　求　书 2/2 页 3 CN 114952832 A 3