(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210861786.0 (22)申请日 2022.07.20 (71)申请人 广西大学 地址 530004 广西壮 族自治区南宁市西乡 塘区大学东路10 0号 (72)发明人 蒙艳玫　陈贵　韦锦　董振　 朱纪洪　蒙丽雯　韩冰　 (74)专利代理 机构 贵州派腾知识产权代理有限 公司 521 14 专利代理师 朱雪琼 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/52(2022.01)G06V 10/764(2022.01) G06V 10/75(2022.01) G06T 7/80(2017.01) G06T 5/00(2006.01) G06N 3/02(2006.01) A01D 45/10(2006.01) (54)发明名称 一种甘蔗收获机运行状态的识别预测方法 (57)摘要 本发明提供了一种甘蔗 收获机运行状态的 识别预测方法， 包括如下步骤： ①甘蔗收获机预 测运行状态平台的搭建及数据处理， 对相机与雷 达联合标定及图像、 点云数据预处理； ②根据甘 蔗特征对YOLOv5s检测模型改进； ③激光雷达和 视觉融合检测甘蔗， 对雷达和视觉预测框关联度 分析避免遗漏； ④将预测框与工况匹配分类； ⑤ 基于目标检测和分类模型进行预测工况。 本发明 可实时判断前方作业情况， 识别收获机即将运行 状态， 即自适应预测工况， 控制系统通过该信息 提前实时控制行驶液压系统、 刀盘液压系统和风 机系统等系统的输出， 使 得收获机液压系统动力 输出和外负载匹配合理， 提高甘蔗收割效率和能 量利用率， 实现自适应预测控制， 智 能化水平得 到大幅度的提高。 权利要求书2页 说明书9页 附图6页 CN 115147685 A 2022.10.04 CN 115147685 A 1.一种甘蔗收获机运行状态的识别预测方法， 其特 征在于： 包括如下步骤： ①平台的搭建及数据处理： 从固定安装在 收获机车体上的激光雷达获取点云数据； 对 相机进行标定以消除相机畸变； 对相机与雷达联合标定， 实现图像在空间上的同步， 并将雷 达采集的点云数据和相 机传感器时间信息进行匹配； 对相 机采集到的图像数据进行去 噪、 增强处理； 对雷达采集的点云数据进 行坐标系变换， 使处理后点云数据的ROI区域与图像数 据的区域相同； ②目标检测： 基于甘蔗特征对YOLOv5s模型进行改进， 提高视觉检测的速率、 准确性和 鲁棒性； ③视觉与雷达融合检测： 为应对收获机复杂多变的作业环境， 基于雷达与视觉融合检 测甘蔗， 将点云数据生成的雷达预测框， 与视觉预测框进行关联度匹配， 准确识别收获机前 方收割甘蔗及其 位置， 避免甘蔗遗漏； ④匹配分类： 采用广义 回归神经网络模型对识别甘蔗预测框与收获机运行状况匹配分 类， 识别预测框为雷达和视 觉融合检测甘蔗得到； ⑤预测工况： 基于匹配的收获机运行状况分类结果决策甘蔗收获机的关键 部位输出。 2.如权利要求1所述的甘蔗收获机运行状态的识别预测方法， 其特征在于： 所述关键部 位包括行 走系统、 刀盘系统、 风机系统。 3.如权利要求1所述的甘蔗收获机运行状态的识别预测方法， 其特征在于： 所述步骤 ① 中， 对相机与雷达联合标定为， 求解相 机像素平面的齐次坐标和 点云数据坐标系的齐次坐 标之间的变换矩阵M 。 4.如权利要求1所述的甘蔗收获机运行状态的识别预测方法， 其特征在于： 所述步骤 ① 中， 对雷达采集的点云数据进 行坐标系变换为， 将雷达采集的点云数据通过变换矩阵M进 行 三维至二维图像坐标系变换投影到相机图像数据上。 5.如权利要求1所述的甘蔗收获机运行状态的识别预测方法， 其特征在于： 所述激光雷 达是固态激光雷达 。 6.如权利要求1所述的甘蔗收获机运行状态的识别预测方法， 其特征在于： 所述步骤 ① 中将雷达采集的点云数据和相机传感器时间信息进行匹配采用ROS  message_filters。 7.如权利要求1所述的甘蔗收获机运行状态的识别预测方法， 其特征在于： 所述改进的 YOLOv5s模型为BCSP模块、 混合空间金字塔池化H ‑SPP、 注意力机制和DIOU柔性非极大值抑 制Soft‑DIOU‑NMS的改进。 8.如权利要求7所述的甘蔗收获机运行状态的识别预测方法， 其特征在于： 所述注意力 机制采用将空间注意机制与通道 注意机制 相结合的卷积块注意机制。 9.如权利要求1所述的甘蔗收获机运行状态的识别预测方法， 其特征在于： 所述广义 回 归神经网络模型为基于果蝇算法改进得到 。 10.如权利要求1所述的甘蔗收获机运行状态的识别预测方法， 其特征在于： 所述收获 机运行状况分类为： a.I类： 当收获机前方甘蔗倒伏成0 ‑30°或150° ‑180°时， 收获机工况最为恶劣， 易出现 堵塞情况； b.II类： 当收获机前方甘蔗倒伏成30 ° ‑60°或120° ‑150°时， 收获机工况较为恶劣， 易出 现重载情况；权　利　要　求　书 1/2 页 2 CN 115147685 A 2c.III类： 当收获机前方甘蔗倒伏成60 ° ‑75°或105° ‑120°时， 收获机工况一般， 偶尔出 现重载情况； d.VI类： 当收获机前方甘蔗与地面为75 ° ‑105°时， 收获机工况较为好， 收获机运行正 常； e.V类： 当收获机前 方甘蔗密度稀疏， 且与地 面为75° ‑105°时， 收获机 工况为轻 载。权　利　要　求　书 2/2 页 3 CN 115147685 A 3