(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210662037.5 (22)申请日 2022.06.13 (71)申请人 浙江大学软件学院 （宁波） 管理中心 （宁波软件教育中心） 地址 315048 浙江省宁波市江南路1689号 (72)发明人 江涵　梁秀波　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06V 10/56(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于Casca de R-CNN的待采摘水果目标 检测方法 (57)摘要 本发明公开了一种基于Casca de R‑CNN的待 采摘水果目标检测方法， 该方法具体包括以下步 骤： S1： 采集自然环境下的水果 图像； S2： 扩充采 集到的原始水果图像； S3： 将收集到的原始水果 图像划分为训练集、 测试集和验证集图像， 并将 训练集和验证集的图像划分为原始图像和扩充 后的图像； S4： 人工标注训练集和验证集中的原 始图像得到原始数据集； S5： 将原始图像数据集 输入构建好的Casca de R‑CNN网络训练得到辅助 模型； S6： 通过辅助模型标注扩充后的图像， 得到 扩充数据集； S7： 将原始数据集和扩充数据集输 入构建好的CascadeR ‑CNN网络训练得到检测模 型； S8： 使用测试集在检测模型上测试。 本发明使 用辅助模型代 替人工标注大量图像， 极大降低了 标注成本， 提高了标注效率。 权利要求书2页 说明书5页 附图3页 CN 115082787 A 2022.09.20 CN 115082787 A 1.一种基于Cascade  R‑CNN的待采摘水果目标检测方法， 其特征在于， 该方法具体包括 以下步骤： S1： 采集自然环境下的水果图像； S2： 将采集到的原 始水果图像进行扩充； S3： 将收集到的原始水果图像划分为训练集、 测试集和验证集图像， 并将训练集和验证 集的图像划分为原 始图像train_org、 val_org和扩充后的图像t rain_aug、 val_aug； S4： 人工标注训练集中的原始图像： 将训练集和验证集中的原始图像train_org、 val_ org使用label img人工标注得到数据集dataset_org； S5： 构建Cascade  R‑CNN网络， 将数据集dataset_org输入该网络进行训练， 得到训练好 的辅助模型pth_aux； S6： 通过辅助模型pth_aux标注扩充后的图像train_aug、 val_aug， 通过辅助模型pth_ aux检测水果图像中的待采摘水果目标， 得到数据集dataset_aug； S7： 将数据集dataset_org和dataset_aug输入构建好的Cascade  R‑CNN网络训练得到 训练好的最终检测模型pth用于测试集图像的检测； S8： 使用测试集在检测模型pth测试， 输出最后的分类和定位检测框结果。 2.根据权利要求1所述的基于Cascade  R‑CNN的待采摘水果目标检测方法， 其特征在 于， 所述步骤S1中采集的单类水果图像至少10 00张以上的图片。 3.根据权利要求1所述的基于Cascade  R‑CNN的待采摘水果目标检测方法， 其特征在 于， 所述步骤S2具体为： 使用imageAug开源库， 实现几何变换类和颜色变换类的单样 本数据 增强方法， 进行扩充。 4.根据权利要求3所述的基于Cascade  R‑CNN的待采摘水果目标检测方法， 其特征在 于， 所述几何变换类的单样本数据增强方法为包括翻转， 旋转， 裁剪， 变形， 缩放在内的操 作； 所述颜色变换类的单样 本数据增强方法为包括噪声、 模糊、 颜色变换、 擦除、 填充在内的 操作。 5.根据权利要求1所述的基于Cascade  R‑CNN的待采摘水果目标检测方法， 其特征在 于， 步骤S4中， 使用labelImg标注软件在训练集和验证集中的原始图像train_org、 val_org 中用一个矩形框 框出感兴趣的水果目标。 6.根据权利要求1所述的基于Cascade  R‑CNN的待采摘水果目标检测方法， 其特征在 于， 所述步骤S5具体包括以下子步骤： S501， 使用Cascade  R‑CNN网络中的CNN网络提取输入水果图像的特征， 其中CNN 网络为 ResNet50‑FPN， 得到多尺度特 征图； S502， 将步骤S5 01得到的多尺度特 征图输入RPN 生成检测框， 得到候选区域； S503， 将多尺度特征图和步骤S502生成的候选区域一起输入Cascade  R‑CNN级联检测 器， 输出最终的分类和定位检测框； S504， 设置学习率与训练轮次， 训练迭代得到 辅助模型pth_aux。 7.根据权利要求6所述的基于Cascade  R‑CNN的待采摘水果目标检测方法， 其特征在 于， 所述S501具体为： 所述ResNet50 ‑FPN网络包括自下而上、 自上而下和横向连接三部分； 自下而上的ResNet的分为5个卷积阶段， 每个卷积阶段负责特征提取， 输出的不同尺度特征 图横向连接至FPN用于后续特征融合； 自上而 下的FPN分为5个特征融合阶段， 将高层次特征权　利　要　求　书 1/2 页 2 CN 115082787 A 2图使用上采样扩展到和横向连接特征图相同的尺寸， 进行尺度融合； 最终每一层的融合特 征图各自输入一个3 ×3卷积层， 得到最终的多尺度特 征图。 8.根据权利要求6所述的基于Cascade  R‑CNN的待采摘水果目标检测方法， 其特征在 于， 所述步骤S502具体为： 将步骤S501得到的多尺度特征图输入RPN生成检测框， 根据特征 图的尺度生成不同长宽比的锚框， 将所有的锚框输入卷积层提取各自区域特征； RPN包括第 一分支和第二分支， 第一分支通过softmax层对各检测框进 行正负样 本的分类， 第二个分支 进行区域边界框的回归， 修正矩形边界框四个点的坐标， 以寻找生成的锚框与实际标签边 界框之间的变化关系； 当对于生成的边界框进 行正负分类与坐标修正后， RPN会将正负样本 的分类结果和生成的锚框与实际标签边界框 之间的变化关系输入pr oposal层， 得到候选区 域。 9.根据权利要求6所述的基于Cascade  R‑CNN的待采摘水果目标检测方法， 其特征在 于， 所述步骤S503具体为： Cascade  R‑CNN模型拥有三个级联检测器， 每个级联检测器的过 程具体为： 将多尺度特征图和步骤S 502生成的候选区域输入池化层中， 提取出感兴趣区域， 并进行归一化； 将归一化后的特征图将 被输入全连接层， 采用softmax分类器进 行目标检测 分类， 对boundi ng box进行边框回归， 得到水果目标的分类和定位检测框结果。 10.根据权利要求1所述的基于Cascade  R‑CNN的待采摘水果目标检测方法， 其特征在 于， 所述步骤S8具体为： S801： 初始化目标检测模型pth； S802： 获取输入图像； S803： 使用目标检测模型pth框选前景目标并进行 区域校正， 将前景目标送入分类器进 行分类得到带有分类信息的检测框； S804： 对检测框进行后处 理， 所述后处 理为通过NMS算法去除冗余的检测框 。权　利　要　求　书 2/2 页 3 CN 115082787 A 3