(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210559139.4 (22)申请日 2022.05.22 (71)申请人 西南石油大 学 地址 610500 四川省成 都市新都区新都大 道8号 (72)发明人 程茂凯　陈金令　徐紫涵　 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 一种应用 于边缘设备的高效实时目标检测 方法 (57)摘要 本发明所提供的一种应用 于边缘设备的高 效实时目标检测方法， 以单阶段无锚框目标检测 算法为基础， 所用全新特征提取主干网络、 全新 特征融合结构以及全新的检测头部均得到实验 验证， 克服了 特征提取不充分、 特征融合不完善、 信息交互差以及部署后效果不理想的问题， 结合 COCO数据集和VOC数据集这两大全球公认数据 集， 在训练模 型和调试模型的进程中选取全局最 优的训练模 型， 所得模型参数可以使得分类更精 确、 定位更精准， 同时模型的大小更适合应用于 硬件条件有限的边缘设备上， 这样获得的目标检 测模型更加的符合实时目标检测的要求， 所得结 果更加合理可靠。 本发明除用于做目标检测， 还 可推广用于分割、 人脸识别等领域， 具有广泛的 应用价值。 权利要求书4页 说明书10页 附图4页 CN 114821112 A 2022.07.29 CN 114821112 A 1.一种应用于边 缘设备的高效实时目标检测方法， 其特 征在于， 包括以下步骤： S1： 使用摄 像头获取目标物体的图片信息， 然后进行图像预处 理； S2： 通过改进的卷积神经网络对获取的目标图像进行 特征提取； S3： 将步骤S2中获取的图像特征通过原始图像特征收集与再分配模块进行图像 融合再 分配； S4： 将步骤S3步骤中所 得权重再经过CAS‑PAN进行图像融合； S5： 将最终获得的权重再head部分进行分类和回归,最后生成符合目标大小的检测框， 最终获得目标位置和目标信息； S6： 将上述 步骤移植到边 缘设备上， 加速后即可进行实施目标检测。 2.如权利要求1中所述的一种应用于边缘设备的高效实时目标检测方法， 其特征在于， 所述步骤S1具体为： 将输入图像转换为矩阵形式 ， 若CNN的输入是彩色图像 ， 则输入层表示为 分别为彩色图像R、 G、 B三个通道的数据； 再进行图像的预处 理， 首先将图片拆减为640 ×640大小， 在经 过图像缩放和旋转变换： 将最终处 理结果输入到改进的卷积神经网络中进行 特征提取。 3.如权利要求1中所述的一种应用于边缘设备的高效实时目标检测方法， 其特征在于， 所述步骤S2具体为： 特征提取的主干网络主要基于ResNet50网络进行的改进； 网络中包含了卷积层、 非线 性激活函数、 残差模块以及多头注意力模块： 卷积层的作用是提取输入图片中的信息， 这些信息被称为图像特征， 这些特征是由图 像中的每 个像素通过组合或者独立的方式所体现， 比如图片的纹 理特征， 颜色特 征： N＝(W‑F+2P)÷(S+1) 其中N为： 输出大小， W为： 输入大小， F为： 卷积核大小， P为： 填充值的大小， S： 步长大小； 非线性激活函数使用的是ELU激活函数： 其中， x为： 输入值， Q 为一个可学习的参数； 残差模块可以理解 为以al作为输入经 过线性变化： Z[l+1]＝W[l+1]al+b[l+1] 然后使用上述非线性激活函数进行非线性变换： a[l+1]＝ δ(z[l+1]) 同样， 将a[l+1]进行线性变化到下一层： Z[l+2]＝W[l+2]a[l+1]+b[l+2] 依次类推进行多个残差模块的叠加， 以获取图片的跟多特 征信息； 多头注意力模块是使用了Transformer中的多头注意力机制， 穿差进最后一个子层中 将原有的3 ×3卷积替换为M HSA多头注意力模块：权　利　要　求　书 1/4 页 2 CN 114821112 A 2Attention(q， k， v， r)＝softmax(qkT+qrT)v 其中q、 k、 r、 v分别表示查询、 键、 位置编码(这里使用是相对位置编码)和数值。 加法和 乘法分别表示 为元素求和与矩阵乘法， 1 ×1则表示逐点卷积。 4.如权利要求1中所述的一种应用于边缘设备的高效实时目标检测方法， 其特征在于， 所述步骤S3具体为： 现有的多尺度 特征交互方法可以分解为自顶向下和自底向上方法的某种组合， 一 次只 关注两个相邻的特征尺度； 这错过了大量可能的组合对， 并使信息在远距离特征尺度之间 的传播效率低下； 此外， 当重复使用BiFPN中的自上而下和自下而上的路径时， 例如从 BiFPNx2移动到BiFPNx3， 模型的检测精度开始饱和； 在这里， 使用了一个轻量级的特征收集和重新分配模块， 它将来自主干的原始多尺度 特征融合在一起， 然后将其重新分配回每个特征尺度； 因此， 每个尺度的特征图现在 包含来 自所有其他尺度的直接连接； 这样的层不涉及任何繁重的计算或参数， 但允许每对特征尺 度之间直接链接； 需要注意的是， 特征收集和重新分配模块无法取代其他特征聚合方法提供的细致性， 但相反， 我们的目标是在将它们传递给其他多尺度特征融合方法之前提供极其轻量级的特 征处理， 从而提供正交的准确性改进； 此外， 特征收集和重新分配模块允许独立于检测头中的输出尺度数量， 因为我们的特 征收集和 重新分配模块的输入和 输出特征的数量之间没有限制； 例如， 尽管YOLOv3检测 头 有3个输出尺度， 但我们可以在特 征收集阶段使用四种不同的主干特 征。 5.如权利要求1中所述的一种应用于边缘设备的高效实时目标检测方法， 其特征在于， 所述步骤S4具体为： 在原始的PAN结构上使用CSP结构进行特征连接和相邻特征图之间的融合； CSP结构被 广泛应用于YOLOv4和YOLOX的颈部； 在原始CSP ‑PAN中， 每个输出特征图中的通道数与来自 主干的输入保持相同； 具有大通道数的结构对于移动设备具有昂贵的计算成本； 我们通过1 ×1卷积使所有特征图中的所有通道数等于最小通道数来解决这个问题； 然后通过CSP结构 使用自顶向下和自底向上 的特征融合； 缩小的特征导致更低的计算成本和无损的准确 性； 此外， 我们在CSP ‑PAN的顶部添加了一个特征图比例以检测更多对象； 同时， 除了1 ×1卷积 之外的所有卷积都是深度可分离卷积； 深度可分离卷积通过5 ×5卷积扩展了感受野； 这种 结构以更少的参数显着提高了准确性； CSP块步骤如下： 输入的x经过两个不同的模块， 然后进行shortcut连接， 最后经过BN和LeakyReLU以及 普通的Co nv卷积； 模块一： 通过1x1的卷积进行通道数减半， 然后经过一个Bottleneck模块， 这里的参数e 控制Bottleneck模块内的hidden层的通道数。 然后在经过一个Conv2d模块(没有经过BN和 激活函数)； 模块二： 通过1x1的卷积进行通道数减半(也 不经过BN和激活函数)。 6.如权利要求1中所述的一种应用于边缘设备的高效实时目标检测方法， 其特征在于，权　利　要　求　书 2/4 页 3 CN 114821112 A 3