(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210610157.0 (22)申请日 2022.05.31 (71)申请人 昆明理工大 学 地址 650093 云南省昆明市五华区学府路 253号 (72)发明人 黄亮　孙宇　赵俊三　唐伯惠　 陈国坤　李小祥　裘木兰　 (74)专利代理 机构 云南盛恒知识产权代理有限 公司 53224 专利代理师 占国霞 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于深度可分离卷积的多尺度特征融 合桥梁检测方法 (57)摘要 本发明公开了一种基于深度可分离卷积的 多尺度特征融合桥梁检测方法， 其特征在于， 包 括以下步骤： 首先利用深度可分离卷积搭建主干 特征提取网络提取桥梁特征； 其次将特征图最后 一层经多分支并行空洞卷积获得多尺度感受野， 更好地匹配不同尺度桥梁， 并提取多尺度桥梁特 征； 然后充分利用不同深度的桥梁细节和语义信 息， 通过多尺度特征金字塔将三个不同层次的桥 梁有效特征层进行跨层次融合； 最后测试桥梁检 测结果并进行精度评价。 本发明mAP达到 94.26％， FPS达到60.04， 在 精度和速度上均能领 先多数主流目标检测网络， 并可集成到移动端完 成高精度快速桥梁检测任务； 大幅度减少网络参 数， 降低运算 成本， 同时提高网络的运行速度， 提 高多尺度桥梁的检测能力。 权利要求书2页 说明书12页 附图7页 CN 115223017 A 2022.10.21 CN 115223017 A 1.一种基于深度可分离卷积的多尺度特征融合桥梁检测方法， 其特征在于， 包括以下 步骤： Step1： 利用深度可分离卷积构建桥梁特 征提取网络， 减少网络参数， 压缩网络模型； Step2： 在最后一层桥梁特征图上应用多分支并行空洞卷积扩大感受野， 进一步提取不 同尺度桥梁的特 征； Step3： 利用多尺度特征融合金字塔实现跨层次桥梁特征图融合， 充分利用桥梁不同特 征图的细节和语义信息； Step4： 通过检测头 输出桥梁检测结果。 2.根据权利要求1所述的一种基于深度可分离卷积的多尺度特征融合桥梁检测方法， 其特征在于： 所述Step1中， 卷积神经网络作为提取 目标特征最佳选择， 利用构成卷积神经 网络的常规卷积进行桥梁检测， 首先将各通道的输入特征图与相应卷积核做卷积操作， 然 后将结果相加再输出； 对于DF×DF×M的桥梁输入图像， 利用N个尺寸为DK×DK×M的标准卷 积核进行卷积操作； 其中M为输入通道数， N为卷积核个数， 即输出通道数； 采用标准卷积核 进行卷积时， 步长为1且 采用padding填充， 输出 特征图尺寸 为DF×DF×N， 则得到计算 量为： P1＝DF×DF×DK×DK×M×N        (1) 3.根据权利要求1所述的一种基于深度可分离卷积的多尺度特征融合桥梁检测方法， 其特征在于： 所述深度可分离卷积 将常规卷积改进为逐层卷积和逐点卷积两个过程； 所述的逐层卷积是不跨通道的卷积， 该过程中特征图的每个通道对应一个独立的卷积 核， 每个卷积核只作用于一个特定的通道， 输出特征图通道数与输入 特征图通道数相等； 对 于DF×DF×M的桥梁输入图像， 分别利用M个卷积核进行卷积， 卷积计算仅在各通道内部进 行， 各通道之间的信息互不相加， 最后输出M个特 征图； 因此 得到逐层卷积的计算 量为： P2＝DF×DF×M×DK×DK        (2) 所述的逐点卷积用于特征合并以及维度变更， 通过1 ×1卷积来遍历每个点的特征， 收 集多个通道的空间信息； 每个逐点卷积层后都跟随着BN层和ReLU层， 有效增加模型的非线 性变化， 增强模型的泛化能力； 对于逐层卷积的输出特征图， 逐点卷积利用N个尺寸为1 ×1 ×M的卷积核 进行卷积运算， 最后输出 特征图尺寸 为DF×DF×N， 则得到的计算 量为： P3＝DF×DF×M×N      (3) 则深度可分离卷积与常规的计算 量之比为： N为输出通道数， 通常情况下N比较大， 则 可忽略不计； 以Dk＝3为例， 即深度 可分离卷积的计算 量仅为常规卷积的 提升了模型的运 算效率。 4.根据权利要求1所述的一种基于深度可分离卷积的多尺度特征融合桥梁检测方法， 其特征在于： 所述Step2中的多分支并行 空洞卷积扩大感受野， 感受野表 示输出特征图上单 位像素对应输入图像的空间范围； 采用空洞卷积的方法可以获得不同尺度的感受野， 从而 解决多尺度桥梁检测精度较低的问题；权　利　要　求　书 1/2 页 2 CN 115223017 A 2空洞卷积是在 常规卷积里引入空洞率这一参数， 空洞率即为卷积核内每个单元之间的 距离， 常规卷积的空洞率 为1； 添加空洞后的卷积核尺寸： k'＝n×(k‑1)+1      (5) 空洞卷积后感受野大小: r＝[(n‑1)×(k+1)+k] ×[(n‑1)×(k+1)+k]       (6) 其中， k′为添加空洞后的卷积核尺寸， n 为空洞率， k 为常规卷积核尺寸； 为了提取空洞部分的特征， 更精确地定位不同尺度桥梁的位置信息， 并进一步节约计 算资源， 结合Inception结构的思想， 将不同尺寸的常规卷积和空洞卷积操行串联， 之后再 并联， 形成一组非对称结构的卷积模块， 并可以保证 每个并联分支输出的特 征图尺寸 一致。 5.根据权利要求1所述的一种基于深度可分离卷积的多尺度特征融合桥梁检测方法， 其特征在于： 所述Step2中， 为了降低计算量， 三个并行分支首先采用1 ×1卷积降低通道数； 为了满足不同尺 寸目标检测的要求， 三个并行分支分别采用3 ×3、 3×3、 5×5两种尺寸的卷 积核， 对应的空洞率分别为1、 3、 5； 常规卷积可以提取空洞部分 的特征， 既能获得具有连续 性的信息， 又能获得不同尺寸的感受野； 最后， 对不同尺度的特征图进行通道拼接， 并与输 入特征图的短接边相加， 输出 特征图。 6.根据权利要求1所述的一种基于深度可分离卷积的多尺度特征融合桥梁检测方法， 其特征在于： 所述Step3中， 多尺度跨层特征金字塔结构， 主干特征提取网络包含六个主要 卷积模块， 获得六个不同尺寸的卷积图， 将最后三层特征图P1、 P2、 P3分别利用1 ×1卷积调 整通道数， 得到特征层P 1_in、 P2_in、 P3_in； P3_in经过上采样后与P2_in进行堆叠得到P2_ m， P2_m经过上采样后与 P1_in进行堆叠得到P1_out； P1_out经过下采样后与P2_in和P2 _m进 行堆叠得到P2 _out， P2_out经过下采样后与P3_in进行堆叠得到P3_out； 以上操作所有特征 图都进行了特征融合， 均对多尺度特征融合有所贡献； 同一尺度的输入特征图和输出特征 图之间直接构建一条连接， 可以融合更加丰富的特征； 最后， 特征图多次堆叠使 金字塔具有 更强大的特 征表示能力。权　利　要　求　书 2/2 页 3 CN 115223017 A 3