(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211231287.X (22)申请日 2022.10.09 (71)申请人 淮阴工学院 地址 223000 江苏省淮安市经济技 术开发 区枚乘东路1号 (72)发明人 叶德阳　邱军林　邵鹤帅　高丽　 蒋晓玲　陈礼青　李敏　周健　 马志鹏　于金玉　 (74)专利代理 机构 淮安市科文知识产权事务所 32223 专利代理师 吴晶晶 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于改进YOLOv5s的安全设备检测方法 (57)摘要 本发明公开了一种基于改进YOLOv5s的安全 设备检测方法， 包括： 获取安全设备样本数据集， 分为训练集和测试集； 改进模型数据增强方式， 采用CutMix与MixUp混合方法， 扩充训练数据集 的体量， 提高模型的泛化能力和测试的鲁棒性； 对网络结构进行修改， 将原模型主干Backbone网 络替换为轻量级MobileNetV3网络； 在FPN+PAN网 络中增加浅层特征提取层， 增强对小目标的提取 效果； 将轻量级算子CARAFE++引入FPN上采样过 程， 对局部区域的特征进行重组， 不需要学习跨 通道的特征变换且较为容易地继承到修改后的 网络架构中， 降低模型的计算成本。 本发明通过 网络结构改进、 模型优化等方法对传统YOLO算法 进行改进， 提高了安全设备检测的准确度和小目 标情况下的检出效果， 具有较好的实用性。 权利要求书3页 说明书9页 附图4页 CN 115496951 A 2022.12.20 CN 115496951 A 1.一种基于改进YOLOv5s的安全设备检测方法， 其特 征在于， 包括以下步骤： S1： 获取安全设备图片数据集， 对样本数据集中目标检测物进行标注， 并分为训练集和 测试集； S2： 数据集进行预处理分析， 进行CutMix与MixUp混合数据增强， 使用超参数scale、 shear操作进行处 理； S3： 构建基于改进YOLOv5s模型的安全设备检测网络模型， 所述网络模型具体包括输入 Input、 主干网络Backbone、 颈部Neck和输出Output； 所述主干网络Backbone为轻量级 MobileNetV3网络； 颈部Neck包括FPN和PAN模块， 且加入浅层特征提取层， 并在FPN上采样过 程引入轻量级算子 CARAFE++， 对上采样过程的全图语义信息进行优化； S4： 采用训练集对安全设备检测网络模型进行训练， 获取网络模型的各个参数， 得到训 练后的安全设备检测网络模型； S5： 采用测试数据集对训练后的安全设备检测网络模型进行测试， 对测试结果进行评 价。 2.根据权利要求1所述的一种基于改进YOLOv5s的安全设备检测方法， 其特征在于， 所 述步骤S1的具体方法如下： S1.1： 获得不同种类的安全设备图片数据集； S1.2： 使用LabelImg软件对安全设备数据集中的各类目标检测物进行人工标注， 安全 设备种类包括 安全帽、 护目镜、 口罩和手套； S1.3： 将标注好的安全设备 数据集按一定比例划分为训练集和 测试集。 3.根据权利要求1所述的一种基于改进YOLOv5s的安全设备检测方法， 其特征在于， 所 述步骤S2的具体方法如下： S2.1： 利用CutMix与MixUp混合数据增强方式， 扩充样本数据集； S2.2： MixUp将不同类之间的图像进行混合， 从而达 到扩充训练数据集的作用， 具体为： 式中， 和 分别是训练数据中 随机抽取的两个样本(xi， yi)， (xj， yj)混合后的图像和标 签， λ是从给定的贝塔分布中取 得的随机数； S2.3： CutMix在训练图像之间裁切出随机矩形的部分图像进行拼接生成新的图像， 从 新样本中两个原样本的比例确定新的混合标签的比例， 确保图像中信息的连续 性， 具体为： 其中， M∈{0， 1}W×H表示一个二进制掩码， 标记 出两幅图像裁切和填充的位置， 两个数据 点之间的随机数λ从贝塔 分布采样， 即λ从均匀分布(0， 1)采样， W和H表 示分别表示图像的宽 和高； S2.4： 对经过CutMix与MixUp混合数据增强处理后的安全设备图像使用超参数scale、 shear操作进行处 理。 4.根据权利要求1所述的一种基于改进YOLOv5s的安全设备检测方法， 其特征在于， 所 述步骤S3中Mobi leNetV3网络进行 特征提取的具体方法如下：权　利　要　求　书 1/3 页 2 CN 115496951 A 2所述MobileNetV3网络结构包含多种尺寸和深度的可分离卷积块Bneck、 批量归一化层 BN、 SE注意力机制模块、 H ‑swish激活函数； S3.1.1： 对预训练数据集图片进行切 片操作， 经过一次32个卷积核的卷积操作， 最终变 成大小为原图像一半以及通道数为32的特 征图； S3.1.2： CBH模块 由卷积层、 批量归一化层BN和H ‑swish激活组成， 通过CBH模块对特征 图进行卷积、 批量归一化和激活操作， 其中卷积层的步距 为2， 使用的激活函数H ‑swish是在 RELU6激活函数的基础上修改， 其原理为： RELU6(x)＝mi n(max(x， 0)， 6)        (5) 此时特征图的通道数为16； S3.1.3： 进入可分离卷积块Bneck后对特征 图进行第一次特征提取， 经过3个可分离卷 积块Bneck、 卷积核大小为3 *3且卷积的步距为1的卷积 操作后得到特 征图的提取 特征； S3.1.4： 经过3个可分离卷积块Bneck完成对特征 图第二次特征提取， 卷积核大小为5* 5， 引入SE注意力机制模块， 采用ReLu激活函数； S3.1.5： 经过4个可分离卷积块Bneck完成对特征图第三次特征提取， 卷积核大小为3*3 且卷积的步距为1， 采用H ‑swish激活函数； S3.1.6： 经过最后5个可分离卷积块Bneck特征提取以及卷积、 批量归一化和激活操作 后进入空间金字塔SPP 对前层特征进行最大池化处理， 卷积核大小为5*5、 5*5、 5*5， 然后将 3 个处理后的结果连接起 来组成新的特 征层。 5.根据权利要求4所述的一种基于改进YOLOv5s的安全设备检测方法， 其特征在于， 所 述步骤S3中Neck模块的具体操作为： S3.2.1： FPN网络对图像金字塔SPP处理后的特征 图进行卷积操作， 卷积过程的卷积核 大小为1*1、 步长为2， 经过卷积特征提取后得出尺寸大小为20*20的特征图， 与来自主干网 络提取出的同样大小为20*20的特征图进行2倍的上采样特征融合， 得到尺寸大小40*40的 特征图； S3.2.2： 对S3.2.1处理得到的40*40特征图继续重复进行卷积操作， 卷积过程的卷积核 大小为1*1、 步长为2， 经过卷积特征提取后得出尺寸大小为40*40的特征图， 与来自主干网 络提取出的同样大小为40*40的特征图进行2倍的上采样特征融合， 得到尺寸大小80*80的 特征图； S3.2.3： 对S3.2.2过程得到的80*80的特征图继续进行卷积和 上采样操作， 与PAN网络 上层结构共同组成新的浅层特征提取层， 此时浅层特征提取层得到尺寸大小为160*160的 特征图； S3.2.4： PAN网络对FPN的特征图同样进行3次卷积核大小为3*3， 步长为2的卷积操作， 提取到的特征图与FP N提取出的[1602， 802， 402， 202]的特征图进行下采样特征融合， 最终得 出4个特征预测图， 四个特 征预测图的尺寸大小同样为[16 02， 802， 402， 202]。 6.根据权利要求5所述的一种基于改进YOLOv5s的安全设备检测方法， 其特征在于， 所 述步骤S3中FPN网络上采样特征融合通过使用上采样算子CARAFE++来取代原 来融合过程中 的双线性插值上采样算子， 所述轻量级算子 CARAFE++的具体操作为：权　利　要　求　书 2/3 页 3 CN 115496951 A 3