(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210657361.8 (22)申请日 2022.06.10 (71)申请人 安徽农业大 学 地址 230036 安徽省合肥市长江西路13 0号 (72)发明人 杨宝华　李云龙　朱月　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/25(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 50/02(2012.01) (54)发明名称 一种基于深度学习的小麦倒伏损失评估方 法和装置 (57)摘要 本发明公开了一种基于深度学习的小麦倒 伏损失评估 方法和装置， 涉及图像处理的技术领 域， 并包括： 1获取小麦地块的图像信息， 并对图 像信息进行预处理， 得到研究区域图像和标签数 据； 2将小麦的研究区域图像与倒伏颜色指数图 像和数字表 面模型图像进行通道 合成， 得到小麦 多通道融合图像； 3构建深度学习小麦倒伏识别 模型， 包括编码器和解码器， 其中编码器包括特 征提取网络、 卷积块注意力模块和卷积层； 4将小 麦倒伏图像数据输入小麦倒伏识别模 型中， 得到 倒伏区域的预测结果并计算倒伏区域面积； 5利 用分类模型评估倒伏损失等级评估。 本发明能够 准确提取小麦倒伏区域， 同时评估倒伏损失等 级， 解决了现有小麦倒伏损失评估 方法准确率较 低的问题。 权利要求书5页 说明书9页 附图2页 CN 115049926 A 2022.09.13 CN 115049926 A 1.一种基于深度学习的小麦倒伏损失评估方法， 其特 征在于， 包括： 步骤1、 利用无人机搭载RGB数码相机获取a个小麦地块的图像信息， 并通过预处理的方 式， 得到小麦研究区域图像及其相应的标签图像； 步骤2、 对所述小麦研究区域图像进行图像处理， 得到小麦倒伏颜色指数图像和小麦数 字表面模型图像； 步骤3、 将所述小麦研究区域图像、 小麦倒伏颜色指数图像和小麦数字表面模型图像进 行通道合成， 得到小麦多通道融合图像； 步骤4、 对小麦多通道融合图像和所述标签 图像分别进行数据扩增处理， 得到图像 ‑标 签对， 并按比例将所述图像 ‑标签对划分为训练集和验证集， 从而组成小麦倒伏图像数据 集； 步骤5、 构建基于深度 学习的小麦倒伏识别 模型， 并利用所述小麦倒伏图像数据集训练 所述小麦倒伏识别模型， 得到训练后的小麦倒伏识别模型， 用于确定所述小麦研究区域图 像中倒伏区域的位置和范围； 步骤6、 根据小麦研究区域图像 中倒伏区域的位置和范围计算出倒伏面积， 并利用训练 好的倒伏损失分类模型对倒伏面积进行倒伏程度分类， 得到小麦的倒伏损失等级。 2.根据权利1所述的基于深度学习的小麦倒伏损 失评估方法， 其特征在于， 所述步骤1 中的预处 理包括： 步骤1.1、 根据地理坐标信息对采集到的a个小麦地块的图像信息进行空间信息匹配， 得到匹配后的a个小麦地 块的图像数据； 在匹配后的a个小麦地块的图像数据中的重叠区域内逐行搜索最佳拼接点， 从而由最 佳拼接点拟合得到拼接线， 并根据所述拼接线将匹配后的a个小麦地块的图像数据拼接完 整的小麦研究区域图像； 步骤1.2、 利用人工标注方式对所述小麦研究区域图像 中的倒伏区域进行标记， 从而得 到标签图像。 3.根据权利1所述的基于深度学习的小麦倒伏损 失评估方法， 其特征在于， 所述步骤2 中的图像处 理包括： 步骤2.1、 利用式(1)所示的植被指数计算方法对小麦研究区域 图像进行提取， 得到相 应的小麦倒伏颜色指数图像LCI； 式(1)中， r为所述小麦研究区域 图像中红波段R的归一化反射率， g为所述小麦研究区 域图像中绿波段G的归一化反射率， b为所述小麦研究区域图像中蓝波段B的归一化反射率， α 表示绿波段的权值系数， β 表示蓝波段的权值系数； 步骤2.2、 对所述小麦研究区域图像进行几何校正和关键点匹配， 得到密集点云及纹理 信息， 并对所述密集 点云及纹 理信息进行三维重建， 从而得到小麦数字表面模型图像。 4.根据权利3所述的基于深度学习的小麦倒伏损 失评估方法， 其特征在于， 所述步骤3 中的通道合成包括： 步骤3.1、 将小麦研究区域图像中的红波段R、 绿波段G和蓝波段B进行通道分离， 得到红 波段图像BandR、 绿波段图像BandG和蓝波段图像BandB； 对所述小麦倒伏颜色指数图像LCI进权　利　要　求　书 1/5 页 2 CN 115049926 A 2行波段处理， 得到颜色波段图像BandE， 对所述小麦数字表面模型图像进行波段处理， 得到 数字表面波段图像BandD； 步骤3.2、 利用波段合成方式， 将所述红波段图像BandR、 绿波段图像BandG、 蓝波段图像 BandB、 中颜色波段图像BandE和数字表面波段图像BandD进行融合， 从而得到小麦多通道融 合图像。 5.根据权利1所述的基于深度 学习的小麦倒伏损失评估方法， 其特征在于， 所述小麦倒 伏识别模型包括： 编码器和解码器； 所述编码器包括： 特 征提取网络和卷积块注意力模块； 所述特征提取网络包括I个瓶颈块， 分别记为Bottlenecks1,Bottlenecks2,..., Bottlenecksi,...,Bottlen ecksI； 其中， Bot tlenecksi表示第i个瓶颈块； 每个瓶颈块包括： A个特征提取单元， 每个特征提取单元依次包括一个逐点卷积层， 一 个深度可分离卷积层和一个线性卷积层， 其中， 第a个特征提取单元的逐点卷积层的扩展因 子为ta， a＝1,2,. ..A， 第a个特 征提取单元的深度可分离卷积层的步长为sa； 当i＝1,a＝1时， 所述小麦多 通道融合图像输入第i个瓶颈块Bottlenecksi中， 并经过第 a个特征提取单元中的逐点卷积层将小麦多通道融合图像的通道数变为输入的t 倍后， 输出 第i个瓶颈块Bottlenecksi对应的第a个特征图BMapi,a， 再经过深度可分离卷积层将第a个 特征图BMapi,a的分辨率变为输入的 倍后， 输出第a个特征图BMapi,a′， 最后通过线性卷积 层， 得到第a个特 征图BMapi,a″； 当i＝1,a＝2,3,...,A时， 第i个瓶颈块Bottlenecksi对应的第a ‑1个特征图BMapi,a‑1″ 输入第i个瓶颈块Bottlenecksi中的第a个特征提取单元进行处理， 并输出第a个特征图 BMapi,a″， 从而由第i个瓶颈块Bottlenecksi的第A个特征提取单元输出第i个瓶颈块 Bottlenecksi对应的第A个特 征图BMap ″I,A； 当i＝2,3， ...I时， 将第i ‑1个瓶颈块Bottlenecksi‑1对应的第A个特征图BMap ″i‑1,A输入 第i个瓶颈块Bottlenecks中进行处理， 并输出第A个特征图BMap ″i,A， 从而由第I个瓶颈块 BottlenecksI中输出第I个 瓶颈块BottlenecksI对应的第A个特征图BMap ″I,A， 并记为小麦多 通道融合图像的特 征图BMap ″； 所述卷积块注意力模块包括： 通道注意力模块、 空间注意力模块和合并层， 其中， 通道 注意力模块包括： 全局最大池化层， 全局平均池化层、 神经网络单元和归一化层， 所述空间 注意力模块包括： 全局最大池化层， 全局平均池化层、 拼接层和卷积层和； 所述小麦多通道融合图像的特征图BMap ″输入所述卷积块注意力模块中， 并经过通道 注意力模块的全局最大池化层和全局平均池化层的处理后， 分别得到特征图MapM和MapA， 再 一起输入所述神经网络单 元， 并得到带有通道的注意力权 重的特征图MapMA； 所述归一化层利用sigmoid函数对所述带有通道的注意力权重的特征图MapMA进行归一 化操作， 得到归一化后的特征图Map ′MA后， 再利用逐通道方式将归一化后的特征图Map ′MA和 小麦多通道融合图像的特征图BMap ″进行乘法加权操作， 得到最终的小麦多通道融合图像 的通道注意力特 征图CMap； 所述通道注意力特征图CMap输入所述空间注意力模块中的全局最大池化层和全局平 均池化层进行处理， 分别得到特征图CMapM和CMapA， 所述拼接层对所述特征图CMapM和CMapA权　利　要　求　书 2/5 页 3 CN 115049926 A 3