(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211152410.9 (22)申请日 2022.09.21 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 史治国　吴淼　袁竞涛　潘骏　 陈积明　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 刘静 (51)Int.Cl. G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01)G06V 10/77(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于yolov4-tiny模型压缩工厂螺丝螺 帽分类方法、 设备及系统 (57)摘要 本发明公开了一种基于yolov4 ‑tiny模型压 缩工厂螺丝螺帽分类方法、 设备及系统， 该方法 包括以下步骤： 依次构建螺丝螺帽数据集、 文本 文件数据集、 文本文件增强数据集， 将将文本文 件增强数据集中增强文本文件以及所对应的螺 丝螺帽照片进行划分， 构建训练集、 测试集和验 证集， 利用训练集、 测试集和验证集处理改进的 yolov4‑tiny算法网络模型， 得到螺丝螺帽分类 模型， 利用训练好的螺丝螺帽分类模 型对螺丝螺 帽照片进行分类。 本发明提高了对于螺丝螺帽分 类检测以及分拣的速度以及减少对于硬件资源 的占用。 权利要求书2页 说明书7页 附图3页 CN 115482394 A 2022.12.16 CN 115482394 A 1.一种基于yolov4 ‑tiny模型压缩工厂螺丝螺帽分类方法， 其特征在于， 包括以下步 骤： S1， 获取螺丝螺帽照片， 对螺丝螺帽照片中螺丝螺帽的种类和位置进行数据 标注， 构建 螺丝螺帽数据集； S2， 将螺丝螺帽数据集中每个标注好的螺丝螺帽照片生成文本文件， 对文本文件所对 应的螺丝螺帽照片的图像分辨率进行调整， 并将调整后的螺丝螺帽照片生成新的文本文 件， 构建文本文件数据集； S3， 将文本文件数据集中的文本文件所对应的螺丝螺帽照片进行数据增强， 得到增强 文本文件， 构建文本文件增强数据集； S4， 将文本文件增强数据集中增强文本文件以及所对应的螺丝螺帽照片进行划分， 构 建训练集、 测试集和验证集； S5， 利用训练集训练改进的yolov4 ‑tiny算法网络模型， 对经过训练的改进的yolov4 ‑ tiny算法网络模型采用测试集进 行准确度测试， 并对经过准确度测试而选取出的最优改进 的yolov4 ‑tiny算法网络模型， 对最优改进的yolov4 ‑tiny算法网络模型采用验证集进行网 络参数调整， 其中， 改进的yolov4 ‑tiny算法网络模型包括主干提取特征网络、 加强特征提 取网络和预测网络结构， 得到 螺丝螺帽分类模型； S6， 利用训练好的螺 丝螺帽分类模型对螺 丝螺帽照片进行分类。 2.根据权利要求1所述的基于yolov4 ‑tiny模型压缩工厂螺丝螺帽分类方法， 其特征在 于， 所述步骤S5中改进的yo lov4‑tiny算法网络模型 具体为： S51， 将轻量级的MobilenetV3网络中的bneck网络模块前半部分Relu改为Le aky Relu， 得到优化的MobilenetV 3网络， 其中， 优化的MobilenetV 3网络作为改进的yolov4 ‑tiny算法 网络模型中的主干提取 特征网络； S52， 使用训练集， 基于优化的MobilenetV3网络， 进行一个卷积和激活处理， 将训练集 中的图像进行宽和高的压缩， 得到 压缩图像； S53， 使用优化的MobilenetV3网络中 的第一类bneck 网络模块和第二类bneck网络模块 对压缩图像进行 特征提取， 得到第一个有效的特 征层； S54， 使用优化的MobilenetV3网络中 的第一类bneck 网络模块和第二类bneck网络模块 对第一有效的特 征层进行 特征提取， 得到第二有效的特 征层； S55， 先使用加强特征提取网络 中的特征增强模块对第二有效的特征层进行特征增强， 然后使用加强特征提取网络中的特征融合模块将第一有效的特征层和经过特征增强的第 二有效的特 征层进行 特征融合， 得到融合特 征图像； S56， 使用改进的yolov4 ‑tiny算法网络模型中的预测网络结构对融合特征图像进行处 理， 得到融合特 征图像中每 个物体的检测结果， 得到 螺丝螺帽分类模型。 3.根据权利要求1所述的基于yolov4 ‑tiny模型压缩工厂螺丝螺帽分类方法， 其特征在 于， 步骤S3具体包括以下步骤： 将文本文件数据集中的文本文件所对应的螺丝螺帽照片进行旋转、 翻转、 镜像对称、 仿 射变化、 高斯加噪、 对比度变化、 尺度变化和裁剪， 得到增强文本文件， 构建文本文件增强数 据集。 4.根据权利要求3所述的基于yolov4 ‑tiny模型压缩工厂螺丝螺帽分类方法， 其特征在权　利　要　求　书 1/2 页 2 CN 115482394 A 2于， 所述步骤S3具体还 包括以下步骤： 随意取文本文件数据集中的四份文本文件所对应的螺丝螺帽照片进行拼接， 得到一个 拼接图像， 生成增强文本文件， 作为文本文件增强数据集中的一部分。 5.根据权利要求4所述的基于yolov4 ‑tiny模型压缩工厂螺丝螺帽分类方法， 其特征在 于， 所述步骤S3具体还 包括以下步骤： 将文本文件数据集中的文本文件所对应的像素较低的螺丝螺帽照片进行填充处理， 得 到像素大小为416 ×416的螺丝螺帽照片， 生 成与像素大小为4 16×416的螺丝螺帽照片所对 应的增强文本文件。 6.一种工业嵌入式设备， 包括存储器和一个或多个处理器， 所述存储器中存储有可执 行代码， 其特征在于， 所述处理器执行所述可执行代码时， 用于实现如权利要求1 ‑5中任一 项所述的基于yo lov4‑tiny模型压缩工厂螺 丝螺帽分拣方法。 7.一种螺丝螺帽分拣系统， 其特征在于， 包括权利要求6所述的工业嵌入式设备， 还包 括： 传送机构， 与所述工业嵌入式设备电性连接， 所述传送机构的启动和关闭由所述工业 嵌入式设备控制； 用于装载螺丝螺帽的零件盒， 设置在所述传送机构上， 使得所述零件盒在所述传送机 构上运输； 用于拍摄述所述零件盒中螺丝螺帽的深度相机， 设置在所述传送机构上且与 所述工业 嵌入式设备电性连接； 机械臂， 与所述工业嵌入式设备电性连接； 显示器， 与所述工业嵌入式设备电性连接； 所述深度相机将拍摄的所述零件盒中螺丝螺帽照片发送至所述工业嵌入式设备， 所述 工业嵌入式设备将螺丝螺帽照片中每个螺丝螺帽深度视觉坐标系下空间位置转换为所述 机械臂的坐标系下的坐标并传送 给所述机械臂以及 控制所述机械臂分拣螺丝螺帽； 所述工 业嵌入式设备将螺 丝螺帽照片发送至所述显示器， 使得显示器实时显示螺 丝螺帽照片。权　利　要　求　书 2/2 页 3 CN 115482394 A 3