(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210895196.X (22)申请日 2022.07.26 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号 (72)发明人 赵升燚　刘继展　吴硕　袁子喻　 雷小洁　 (74)专利代理 机构 南京智造力知识产权代理有 限公司 32382 专利代理师 张明明 (51)Int.Cl. G05D 1/02(2020.01) G06T 7/00(2017.01) G06T 7/73(2017.01) G06T 7/68(2017.01)G06V 10/762(2022.01) G06V 10/80(2022.01) G06N 20/00(2019.01) G01C 21/20(2006.01) G01S 17/86(2020.01) (54)发明名称 一种里程计-作物冠层特征融合的机器人自 主对靶系统与方法 (57)摘要 本发明公开了一种里程计 ‑作物冠层特征融 合的机器人自主对靶系统与方法， 涉及农业机器 人领域。 机器人冠层自主对靶系统包括自主导航 底盘系统和冠层视觉捕捉系统， 通过冠层多器官 特征固化模 型和里程计导航一级粗定位方法， 引 导机器人向对靶冠层位置的一级定位运动并自 动生成随机对靶抽样和逐株对靶抽样作业模式 决策； 进而由分片冠层点云中心捕捉定位或连片 冠层三维点 云密度比对定位方法， 计算机器人与 对靶冠层中心的距离； 最终由对靶点位置修正方 法， 引导机器人向对靶位置运动。 本发明提高了 机器人对植株冠层自主 对靶的精度。 权利要求书2页 说明书5页 附图2页 CN 115268445 A 2022.11.01 CN 115268445 A 1.一种里程计 ‑作物冠层特 征融合的机器人自主对 靶方法， 其特 征在于： 将植株冠层信 息的单帧RGB图像输入到冠层多器官特征固化模型中， 依次进行叶、 花和 果多级特征的逐层比对； 若图像仅检测出叶单一器官， 为分片冠层； 若检测出叶 ‑花、 叶‑果、 花‑果或叶‑花‑果多类器官， 为连片冠层； 作物行为分片冠层， 激活作物行逐株对靶抽样作业模式， 并生成后续采样点的对靶里 程XD： XD＝XD0+nR， n＝1， 2， 3， 4 …， 且XD≤S； 其中R为当前作物行栽植株距， XD0为深度相机当 前里程， S为作物行长度， 作物行为连片冠层， 激活作物行随机对靶抽样作业模式， 并随机生成当前作物行后续 采样点的对靶里程XD： 其中X2为伺服轮毂电机 Ⅰ的里程参数， X3为伺服轮毂 电机Ⅱ的里程参数， L为车体长度； 由对靶里程XD与深度相机当前里程XD0的水平距离差， 生成伺服轮毂电机 Ⅰ和伺服轮毂 电机Ⅱ的运动圈数N； 若机器人未完成运动圈数N， 且XD0＝XD， 则停止运动； 若机器人完成运动圈数N， 且XD0＝ XD， 则停止运动； 若机器人完成运动圈数N， 且XD0≠XD， 则停止运动； 分片冠层点云中心捕捉定位： 由分片冠层的中心位置与相机视场中心确定机器人是否 位于对靶位置， 若分片冠层的中心位置与相 机视场中心偏移， 控制系统将驱动机器人继续 行走， 进行对 靶点位置修正， 否则执 行对靶作业； 连片冠层点云密度比对定位： 控制系统对只包含植株器官的三维深度点云簇A1和冠层 整体的三维深度点云簇A0进行在线比对： 若P＜P0， 控制系统将驱动机器人继 续行走， 进行对 靶点位置修正， 否则执 行对靶作业， 其中P0为预设值。 2.根据权利要求1所述的机器人自主对靶方法， 其特征在于， 所述冠层多器官特征固化 模型为： 对作物生长全周期的叶、 花和果进行形态、 颜色多特征的人工标记并制成训练集， 将训练集里的叶归为一级 特征、 花归为二级 特征、 果归为三级 特征， 按一 ‑二‑三特征顺序依 次植入语义分割模型中进行逐次训练， 对逐层训练得到的叶、 花和果通过特征图的加权融 合， 得到冠层多器官 特征固化模型。 3.根据权利要求1所述的机器人自主对靶方法， 其特征在于， 所述深度相机当前里程XD0 满足： 4.根据权利要求1所述的机器人自主对靶方法， 其特征在于， 所述当前作物行栽植株距 R满足： 其中XD1为初始位置的里程 参数， P为预设的植株数量。 5.根据权利要求1所述的机器人自主对靶方法， 其特征在于， 所述运动圈数N满足： 其中C为伺服轮毂电机的周长 。 6.根据权利要求1所述的机器人自主对靶方法， 其特征在于， 所述对靶点位置修正具体 为： 对深度相机视场中心与对靶点位置进行相机 ‑世界坐标系转换， 计算深度相机坐标系X 轴的深度相机视场中心与对靶点位置距离差ΔX， 驱动机器人继续向前行走， 直至伺服轮毂权　利　要　求　书 1/2 页 2 CN 115268445 A 2电机Ⅰ和伺服轮毂电机 Ⅱ完成运动 圈数k停止， 其中k为： 其中C为伺服轮毂电机的周 长。 7.根据权利要求1所述的机器人自主对靶方法， 其特征在于， 所述分片冠层的中心位置 的确定过程 为： 通过深度相机的颜色 ‑深度坐标对齐， 获得只包含植株器官的三维深度点云簇， 控制系 统对三维深度点云进行聚类横向 ‑纵向中心线提取， 析取 的横向‑纵向中心线交点， 即为分 片冠层的中心位置 。 8.一种实现权利要求1 ‑7任一项所述的机器人自主对靶方法的系统， 其特征在于， 包 括： 伺服轮毂电机 Ⅰ和伺服轮毂电机 Ⅱ， 分别安装于车体前部纵向支撑柱的底部； 深度相机， 固定 于车体下 方横向支撑柱的中间， 且距离车体前后端位置均为 L/2； 控制系统， 与伺服轮毂电机 Ⅰ、 伺服轮毂电机 Ⅱ和深度相机进行通信。权　利　要　求　书 2/2 页 3 CN 115268445 A 3