(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111650998.6 (22)申请日 2021.12.3 0 (71)申请人 太原科技大 学 地址 030000 山西省太原市万柏林区窊流 路66号 (72)发明人 张延军　张朋琳　赵建鑫　夏黎明　 刘敏强　杨博　 (74)专利代理 机构 北京鑫瑞森知识产权代理有 限公司 1 1961 代理人 王立普 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/56(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于卷积神经网络的黄花菜成熟度识 别方法 (57)摘要 本发明公开了一种基于卷积神经网络的黄 花菜成熟度识别方法， 包括： 采集黄花菜的图像 数据并标注其特征点； 修改YOLOv3神经网络的输 出层、 激活函数以及损 失函数； 使用COCO数据集 预训练的神经网络参数在采集到的图像数据集 上进行训练； 使用训练完成的神经网络预测黄花 菜的特征点， 得到特征点在图像坐标系中的坐 标； 利用特征点在图像坐标系中的坐标及其深度 图像， 得到空间坐标； 根据空间坐标计算黄花菜 的长度特征； 通过黄花菜成熟度与其长度特征之 间的映射关系得到黄花菜的成熟度。 本发明通过 神经网络识别特征点与深度相机提取三维信息 相结合的方式得到黄花菜的位置与长度信息， 并 通过长度判断其成熟度， 具有识别率高、 计算成 本低的优点。 权利要求书4页 说明书10页 附图4页 CN 114359546 A 2022.04.15 CN 114359546 A 1.一种基于卷积神经网络的黄花菜成熟度识别方法， 其特 征在于， 包括以下步骤： S1， 采用基于TOF的3D相机采集黄花菜在夜晚和白天的图像， 采用标注程序标注采集到 的图像中黄花菜的特 征点， 保存图像数据集及其标签； S2， 改进卷积神经网络， 修改YOLOv3神经网络的输出层、 激活函数以及损失函数， 其中， 输出层修改为x ×x×24的向量； 将不在图像中的特征点坐标设置为( ‑0.1,‑0.1)， 激活函数 为Leaky‑ReLU函数： 损失函数定义 为： 式中， xi和yi分别表示神经网络的坐标预测结果， 和 分别表示数据集中的坐标真实 值， Ci和 分别表示预测的置信度与真实值， Mi和 分别表示预测目标是否被遮挡； S表示 模型最终预测的张量边长， B则表示负责预测目标的3种大小类别； 第一行累加项代表在图 像中节点位置的损失函数， 表示预测点在图像中； 第二行累加项代表不在图像中的节 点的位置损失函数， 其权重分别为λcooin和 λcoonoin， 表示该预测点不在图像中； 第三 行累加项为锚框内存在目标的概率的损失函数， 表示负责预测的网格内存在目标； 最 后一行累加项表示目标被遮挡的概率的损失函数 表示该目标被遮挡， 其损失权重 为 λmask； S3， 使用COCO数据集预训练的神经网络在步骤S1采集到的图像数据集上进行训练； S4， 采摘过程 中使用基于TOF的3D相机捕捉黄花菜的图像数据以及深度图， 并使用步骤 S3训练完成的神经网络预测黄花菜的特 征点， 得到特 征点在图像坐标系中的坐标； S5， 利用特 征点在图像坐标系中的坐标及其深度图像， 得到特 征点的空间坐标； S6， 通过得到的特 征点的空间坐标计算特 征点之间的距离， 即黄花菜的长度特 征； S7， 通过黄花菜成熟度与其长度特征之间的映射关系得到黄花菜的成熟度， 同时用特 征点的空间坐标表示黄花菜的位置， 完成黄花菜的识别和定位。 2.根据权利要求1所述的基于卷积神经网络的黄花菜成熟度识别方法， 其特征在于， 所 述步骤S1 中， 采用基于TOF的3D相机采集黄花菜在夜晚和白天的图像， 采用标注 程序标注采权　利　要　求　书 1/4 页 2 CN 114359546 A 2集到的图像中黄花菜的特 征点， 保存图像数据集及其标签， 具体包括： 1)采集黄花菜数据集时， 时间段分布均匀， 即一天24小时内每个时间段内图片数量接 近； 2)采集图像时， 基于TOF的3D相机高度保持在500mm～1300mm之间， 这个距离是黄花菜 生长的高度范围， 同时也是采摘时的相机设置高度； 3)将采摘到的图像随机切分为3 部分： 训练集、 验证集、 测试集。 3.根据权利要求2所述的基于卷积神经网络的黄花菜成熟度识别方法， 其特征在于， 所 述步骤S2 中， 构建卷积神经网络， 修改YOLOv3神经网络的输出层、 激活函数以及损失函数， 具体包括： 1)调整神经网络 输出层： 神经网络有两个输出， 分别用于预测图像中不同大小的黄花菜目标， 输出层维度分别 为13*13*12*2和 26*26*12*2， 为了使用YOLOv3的训练参数来进行初始化， 神经网络仅改变 最后一层1*1卷积层； 神经网络输出层维度中的13*13和26*26分别代表两个输出中划分的网格数量， 其中， 每个网格负责预测两个目标， 这两个目标分别用十维向量来表示， 即该网格内存在目标 的 概率、 该目标被遮挡的概率以及该目标四个特征点的坐标， 如果标注的真实标签的中心点 落在该网格内， 该网格就负责预测这个目标， 该目标的中心点计算公式如下： 式中， xi和yi分别表示第i个网格内 中心点的图像坐标 预测结果， n表示该网格的边长； 2)输出特征点坐标的表达方式 采用坐标表达方法为极坐标表示法， 将负责预测该点的栅格坐上角设置为坐标原点， 某一特征点相对于坐标原点的极坐标位置为( θ,r)， 将该坐标系进行归一化处理即为最终 输出层的预测标签， 归一 化方法如下： 式中， w表示输入图像的大小， 最终某一特 征点的输出层的预测标签为( θ' ,r')； 3)神经网络的激活函数 对于特征点不在图像中的黄花菜目标， 真实位置标签将其不在图像中的特征点坐标标 注为极坐标系(0， ‑0.1)， 输出负数值来预测特征点不在图像中的黄花菜目标； 为了使输出 值为负数， 神经网络的激活函数为Leaky ‑ReLU， 并且在计算特征点不在图像中的黄花菜目 标的中心点时， 忽略掉 不在图像内的特 征点， 而求 其他特征点坐标的平均值； 4)神经网络的损失函数 在黄花菜识别特征点的神经网络中， 包括概率损 失、 被遮挡概率损 失以及特征点的位 置坐标损失， 其中， 特征点的位置坐标损失又区分为在图像中的特征点的坐标损失和不在 图像中的特征点坐标 的位置损失， 对于在图像中的位置损失分配较大 的权重， 对于不在图 像中的特 征点位置损失分配小的权 重， 最终得到神经网络损失函数； 5)网络结构权　利　要　求　书 2/4 页 3 CN 114359546 A 3