(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210580143.9 (22)申请日 2022.05.26 (71)申请人 常州大学 地址 213164 江苏省常州市武进区滆湖中 路21号 (72)发明人 吕继东　许浩　韩颖　徐黎明　 卢文斌　顾玉宛　戎海龙　邹凌　 马正华　 (74)专利代理 机构 常州市英 诺创信专利代理事 务所(普通 合伙) 32258 专利代理师 张秋月 (51)Int.Cl. G06V 20/10(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于图像渲染的果实生长形态辨识方 法 (57)摘要 本发明涉及卷积神经网络技术领域， 尤其涉 及一种基于图像渲染的果实生长形态 辨识方法， 包括采集果实图像； 图像数据增强； 构建主干网 络， 并通过自顶向下和自底向上的双向融合网络 对主干网络的网络层进行特征融合， 从而对图像 进行特征提取； 构建RPN网络； 使用点的表征来进 行图像分割， 首先选择少量真值点进行预测； 其 次， 对选中的每个点提取逐点特征表示， 最后构 建一个MLP预测分类； 将测试集图像送入训练好 的网络模型后进行前向传播。 本发 明基于深度学 习搭建特征提取网络并基于图像渲染的思想来 实现果实生长形态的精确辨识， 使得采摘机器人 能够自动辨识果实生长形态， 为进一步对其选用 相应的采摘机制奠定 基础。 权利要求书2页 说明书5页 附图5页 CN 114842347 A 2022.08.02 CN 114842347 A 1.一种基于图像渲染的果实生长形态辨识方法， 其特 征在于， 包括以下步骤： S1、 采集果实图像， 并对图像进行 标注； S2、 通过饱和度调整、 对比度调整、 亮度调整、 锐度调整以及清晰度调整对标注后的图 像进行数据增强； S3、 构建主干网络， 并通过自顶向下和自底向上的双 向融合网络对主干网络的网络层 进行特征融合， 从而对图像进行 特征提取； S4、 构建RPN网络， 对图像特 征进行感兴趣的区域推荐； S5、 使用点的表征来进行图像分割， 首先选择少量真值点进行预测； 其次， 对选中的每 个点提取逐点特征表示， 最后构建一个MLP预测分类； S6、 将测试集图像送入训练好的网络模型后进行前向传播， 返回预测框的回归参数、 类 别概率以及实例掩码， 最后保存预测结果。 2.根据权利要求1所述的基于图像渲染的果实生长形态辨识方法， 其特征在于： 所述主 干网络由49个卷积层和1个最大池化下采样层组成； 首先， 对输入图像经 过1个7×7大小， 步长为2， 填充为3的卷积 操作， 随后， 通过1个最大池化模块进行 下采样得到预处 理后的特 征图； 其次， 将剩余的48个卷积层划分为四个处理阶段， 每阶段里面分别有3、 4、 6和3组卷积 模块， 每组里面又包 含3个卷积层， 分别是1个1 ×1卷积、 1个3 ×3卷积和1个1 ×1卷积； 最后， 在主干网络的输出 添加SPPF。 3.根据权利要求1所述的基于图像渲染的果实生长形态辨识方法， 其特征在于： 所述 SPPF是将特征图经过1×1卷积调整通道， 得到卷积特 征图； 再送入3个并列的池化核大小为5、 步长为1、 填充为2的最大池化层处 理； 最后得到的3个输出与卷积特 征图进行通道融合作为 最终输出。 4.根据权利要求1所述的基于图像渲染的果实生长形态辨识方法， 其特征在于： 所述通 过自顶向下和自底向上的双向融合网络对主干网络的网络层进行 特征融合包括： 自顶向下是通过上采样的方式将顶层的小特征图依次放大到与主干网络的第3 ‑1阶段 特征图一样的大小， 再通过相加的方法进行融合； 自底向上是对特征图进行下采样， 随后与自顶向下路径上大小相同的特征图进行融 合； 同时， 在两条融合路径上的每次上采样和下采样 操作之后添加注意力机制。 5.根据权利要求4所述的基于图像渲染的果实生长形态辨识方法， 其特征在于： 所述注 意力机制是将输入特征图分为宽度和高度两个方向， 分别进行全局平均池化， 接着将获得 全局感受野的宽度和高度方向的特 征图拼接， 送入 共享的卷积模块调整通道数； 接着将得到的特征图继续拆分成宽和高两个方向， 按照原来的高度和宽度分别进行1 ×1卷积得到通道数与原来 一样的特 征图； 再经过Sigmoid激活函数得到高度和宽度上的注意力权重， 最后在原始特征图上通过 乘法加权计算得到 输出。 6.根据权利要求5所述的基于图像渲染的果实生长形态辨识方法， 其特征在于： 所述共 享的卷积模块包括1个1 ×1卷积核、 批归一 化层和非线性激活函数。 7.根据权利要求1所述的基于图像渲染的果实生长形态辨识方法， 其特征在于： 所述权　利　要　求　书 1/2 页 2 CN 114842347 A 2RPN网络的构建包括： 首先， 对输入的特 征图进行一次3 ×3卷积操作， 调整通道数为25 6； 然后经过两次全连接得到18个分类结果和3 6个回归结果。权　利　要　求　书 2/2 页 3 CN 114842347 A 3