(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210384198.2 (22)申请日 2022.04.13 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 申请人 仲恺农业工程学院 　 佛山市中科农业机 器人与智慧农业 创新研究院 (72)发明人 邹湘军　张涛　唐昀超　胡柯炜　 孟繁　温斌　邹天龙　潘耀强　 胡博然　谢启旋　徐秀进　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 唐善新(51)Int.Cl. A01D 46/30(2006.01) B25J 9/16(2006.01) B25J 11/00(2006.01) G01C 11/30(2006.01) G01S 17/93(2020.01) (54)发明名称 基于激光雷达导航的荔枝视觉采摘机器人 及其实现方法 (57)摘要 本发明公开了一种基于激光雷达导航的荔 枝视觉采摘机器人及其实现方法， 包括导航机 构、 运载机构、 升降机构、 电源、 机械臂、 双目视觉 机构、 末端执行机构、 控制柜、 果实收集装置； 导 航机构安装在运载机构的车体底板前端； 升降机 构安装在运载机构的车体底板 上； 机械臂、 电源、 控制柜安装在升降机构的工作平台上； 双目视觉 机构安装在末端执行器固定件上； 末端执行机构 安装在机械臂的末端； 果实收集装置安装在升降 机构的侧面。 本发明能精准识别荔枝果梗， 并自 动进行采摘， 采摘效率高， 而且整体结构简单， 自 动化和智能化 程度高。 权利要求书2页 说明书6页 附图7页 CN 114830915 A 2022.08.02 CN 114830915 A 1.一种基于激光雷达导航的荔枝视觉采摘 机器人， 其特征在于： 包括导航机构、 运载机 构、 升降机构、 电源、 机械臂、 双目视觉机构、 末端执行机构、 控制柜、 果实收集装置； 导航机 构安装在运载机构的车体底板前端； 升降机构安装在运载机构的车体底板上； 机械臂、 电 源、 控制柜安装在升降机构的工作 平台上； 双目视觉机构安装在末端 执行器固定件上； 末端 执行机构安装在机 械臂的末端； 果实收集装置安装在升降机构的侧面。 2.根据权利要求1所述的基于激光雷达导航的荔枝视觉采摘 机器人， 其特征在于： 所述 导航机构包括激光雷达和编码器， 激光雷达安装在运载机构的车体底板前端， 激光雷达和 编码器用于获取道路的数据信息 。 3.根据权利要求1所述的基于激光雷达导航的荔枝视觉采摘 机器人， 其特征在于： 所述 升降机构包括底座、 交叉式升降组件、 液压驱动组件和工作 平台； 所述液压驱动组件固定在 底座上， 液压驱动组件分别与交叉式升降组件、 控制柜相连接， 用于带动交叉式升降组件做 升降运动； 所述工作平台水平设置在交叉式升降组件上。 4.根据权利要求1所述的基于激光雷达导航的荔枝视觉采摘 机器人， 其特征在于： 所述 机械臂为两套相同结构的机械臂， 分别布置在升降机构工作平台的斜对角位置； 其中一套 机械臂是将第一丝杆、 第二丝杆沿运载机构前进方向垂直固定在升降机构工作平台上， 第 三丝杆的两端分别水平固定在第一丝杆、 第二丝杆的滑台上， 第一推杆、 第二推杆呈对称式 垂直固定在第三丝杆上， 末端执行器通过末端执行器固定件连接在第一推杆 的末端， 然后 通过第一连接件将 末端执行器固定件与第二推杆 连接； 另一套机 械臂也是同样的结构。 5.根据权利要求1所述的基于激光雷达导航的荔枝视觉采摘 机器人， 其特征在于： 所述 末端执行机构包括末端执行器固定件、 末端执行器； 所述末端执行器包括电机、 啮合刀片、 橡胶夹板、 夹板固定件、 结构固定件、 丝杆螺母、 推杆； 啮合刀片与夹板固定件刚性连接， 橡 胶夹板通过夹板固定件安装在啮合刀片的下方， 电机与结构 固定件相连接， 丝杆螺母与电 机的丝杆相连接， 推杆固定在丝杆螺母上， 啮合刀片连接在推杆的末端。 6.根据权利要求5所述的基于激光雷达导航的荔枝视觉采摘 机器人， 其特征在于： 啮合 刀片为仿生物 牙齿的锯齿状结构， 橡胶夹 板为仿生物嘴唇的形状。 7.根据权利要求1所述的基于激光雷达导航的荔枝视觉采摘 机器人， 其特征在于： 所述 双目视觉机构包括左相机、 右相机、 相机固定架， 左、 右相机安装在相机固定架上， 相机固定 架安装在末端执 行器固定件上。 8.一种权利要求1～7中任一项所述的基于激光雷达导航的荔枝视觉采摘机器人的实 现方法， 其特 征在于包括下述 步骤： (1)激光雷达导航： 激光雷达和编码器用于获取道路的数据信息， 通过获取的数据信息 来进行机器人的定位、 地图构建和路径规划， 运载机构接收到指令后准确到 达指定位置； (2)升降机构进行升降： 针对不同的采摘环境及荔枝品种， 控制升降机构达到合适的高 度来进行采摘作业； (3)数据集制作： 先用相机采集大量的荔枝图像， 然后用标注工具对采集的图像进行标 注， 即框选出要采摘的荔枝果梗， 得到 荔枝果梗数据集； (4)深度学习模型： 使用改进的YOLOV4网络对荔枝果梗数据集进行训练， 得到识别荔枝 果梗的网络模型； (5)双目相机的单、 双目标定及手眼标定： 先是分别对两个相机进行单目标定， 得到每权　利　要　求　书 1/2 页 2 CN 114830915 A 2个相机的内参矩阵和畸变矩阵； 然后对两个相 机进行双目立体视觉标定， 得到用于双目校 正的重投影矩阵， 同时获得世界坐标系 下真实物距与相 机像素距离之间的转换关系； 再将 双目相机拍摄到的荔枝图像进行双目校正， 得到双目校正后的图像； 手眼标定用于确定机 器人与相机之间的坐标系转换关系； (6)三维重建： 通过双目相机获取荔枝图像的彩色图像， 经过立体匹配得到深度图， 并 将彩色图像输入到步骤(4)中已经训练好的网络模型中， 得到荔枝果梗采摘点的位置坐标， 根据三角测距 原理得到 荔枝果梗的三维点云； (7)运动轨迹规划： 将荔枝果梗的三维点云信 息传送给控制柜， 控制柜通过分析点云信 息中包含的空间三维信息， 采用避障算法来 规划机械臂的运动轨 迹， 使其靠 近采摘目标； (8)姿态估计： 由于荔枝的果梗方向不全是垂直向下的， 所以需要通过获取的荔枝果梗 三维点云来确定果梗轴线方向 向量n及与n垂直的方向 向量m； (9)采摘及收集： 通过控制第一推杆和第二推杆的伸长使末端执行器从向量m的方向对 采摘点进行夹紧剪切， 并将采摘到的荔枝果串放入果实收集装置中。 9.根据权利要求8所述的荔枝视觉采摘机器人的实现方法， 其特征在于： 步骤(4)中， 所 述改进的YOLOV4网络是指采用卷积来得到不同感受野的特征图， 其kernel  size分别设置 为1×1， 3×3、 3×3、 5×5。权　利　要　求　书 2/2 页 3 CN 114830915 A 3