(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210357883.6 (22)申请日 2022.04.06 (71)申请人 安徽理工大 学 地址 232000 安徽省淮南市山 南新区泰丰 大街168号 (72)发明人 贾晓芬　于业齐　郭永存　黄友锐　 赵佰亭　 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/762(2022.01) G06V 20/17(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06K 9/62(2022.01) (54)发明名称 航拍绝缘子自爆缺陷的检测模型、 方法、 设 备及存储介质 (57)摘要 本发明公开了一种航拍绝缘子自爆缺陷的 检测模型、 方法、 设备及存储介质， 检测模型包括 主干网络D ‑Darknet53、 特征挖掘模块以及四尺 度预测层； 主干网络D ‑Darknet53， 用于提取绝缘 子缺陷图像的不同尺度、 不同层 级的图像特征信 息； 特征挖掘模块， 用于对绝缘子缺陷图像的不 同尺度、 不同层级的图像特征信息进行融合， 得 到特征信息丰富的绝缘子缺陷特征图像； 四尺度 预测层， 用于对 特征融合后的四种尺度绝缘子缺 陷特征图像进行预测， 得到绝缘子缺陷的最佳预 测框。 本发明能精准识别、 定位架空输电线路中 航拍绝缘子串的自爆缺陷， 能解决现有的借助深 度学习进行绝缘子自爆缺陷时的检测速度慢、 检 测精度低的问题。 权利要求书3页 说明书9页 附图3页 CN 114677357 A 2022.06.28 CN 114677357 A 1.一种航拍绝缘子自爆缺 陷的检测模型， 其特征在于， 包括： 主干网络D ‑Darknet53、 特 征挖掘模块以及四尺度预测层； 所述主干网络D ‑Darknet53， 用于提取绝缘子缺陷图像的不同尺度、 不同层级的图像特 征信息； 所述特征挖掘模块， 用于对绝缘子缺陷图像的局部特征与总体特征信息进行融合， 得 到特征信息丰富的绝 缘子缺陷特 征图像； 所述四尺度预测层， 用于对不同尺度、 不同层级特征信息融合后的四种尺度绝缘子缺 陷特征图像进行 预测， 得到绝 缘子缺陷的最佳 预测框。 2.根据权利要求1所述的一种航拍绝缘子自爆缺陷的检测模型， 其特征在于， 所述主干 网络D‑Darknet53有5个残差模块Resdx(x＝1、 2、 8、 8、 4)和下采样卷积组成， 每个残差模块 之前有一个下采样卷积， 输入的绝缘子缺陷图像通过3 ×3卷积将输入尺 寸调整为608 ×608 后， 依次经 过下采样卷积和残差模块Resdx(x＝1、 2、 8、 8、 4)； 所述残差模块Resdx， 用于在不同感受野下提取绝缘子缺陷图像 中物体的纹理、 边缘信 息， 得到不同尺度的特 征图， 采用深度可分离卷积， 降低网络模型的参数量； 所述残差模块Resdx由x个残差单 元Resdun it组成； 所述残差单元采用深度 可分离卷积， 深度 可分离卷积由卷积核大小为3 ×3的深度卷积 和1×1的点卷积构成； 所述残差单 元输入端与点卷积的输出端 进行相加操作后， 作为残差单 元的输出； 所述5个残差模块中的后四个残差模块Resdx(x＝2、 8、 8、 4)的输出分别为L1、 L2、 L3、 L4， 前一层的特 征图大小均为后一层的2倍； 所述主干网络D ‑Darknet53的输出端与特 征挖掘模块的输入端相连。 3.根据权利要求1所述的一种航拍绝缘子自爆缺陷的检测模型， 其特征在于， 所述特征 挖掘模块依次由三个卷积层、 密集空间金字塔池化Dense ‑SPP及三个卷积层组成； 所述卷积层， 用于对主干网络的输出特征图进行卷积操作， 提高绝缘子缺陷特征图的 特征表达能力； 所述密集空间金字塔池化Dense ‑SPP， 用于对卷积层输出的绝缘子缺陷特征图进行不 同尺度的池化操作， 加强局部特征与总体特征 的融合， 得到特征信息丰富绝缘子缺陷特征 图； 所述特征挖掘模块的输入为主干网络D ‑Darknet的输出L4， L4经过3个卷积核大小分别 为1×1、 3×3、 1×1的卷积， 不改变特征图的大小， 提取特征得到绝缘子缺陷特征图L5； L5作 为密集空间金字塔池化Dense ‑spp的输入， 将L5送入4条并行分支， 其中一条分支为跳跃连 接， 其余3条均由级 联、 最大池化层和1 ×1卷积层构成， 3个池化核大小分别为5 ×5、 9×9、 13 ×13； 最后对四条支路的输出进行拼接操作得到Dense ‑SPP挖掘出的特征L6； L6再经过三个 依次相连的卷积核大小分别1 ×1、 3×3、 1×1的卷积获得特征L7， 即为特征挖掘模块的最终 输出。 4.根据权利要求1所述的一种航拍绝缘子自爆缺陷的检测模型， 其特征在于， 所述 四尺 度预测层由四支预测特征层组成， 后三支特征层经过上采样和拼接后得到四尺度预测特征 图； 所述上采样操作， 在原有绝缘子缺陷特征图的基础上在各个像素之间采用合适的插值权　利　要　求　书 1/3 页 2 CN 114677357 A 2算法插入新元素， 将原特 征图扩大2倍， 从而与上一层的特 征图进行拼接操作； 所述四尺度预测层的尺度大小分别为19*19、 38*38、 76*76、 152*152， 小尺度预测层的 感受野较大， 用于检测大目标， 大尺度预测层的感受野较小， 用于检测小目标； 所述四尺度预测层的输入为特征挖掘模块的输出L7与主干网络的三个残差模块的输 出 Li(i＝1,2,3)， 152*152、 76*76、 38*38三支路的输入分别由上一层经过1 ×1卷积和上采样 操作后与Li(i＝1,2,3)拼接， 再经过5个卷积特征提取得到输出Ai(i＝1,2,3)， Ai(i＝1,2, 3,4)经过两个卷积核大小分别为3 ×3、 1×1卷积操作后， 最终得到包含四个不同尺度预测 特征图Bi(i＝1,2,3,4)的输出L8； 所述A4＝L7； 所述尺度大小为152 ×152的预测特征层B4， 是将特征网络输出A3经过2倍上次采样操 作， 与主干网络的残差模块Resd2输出L1进行拼接， 再经过卷积操作后所得到的； 预测特征 图B4将浅层特征L1的位置、 细节信息与深层特征A3的语义信息融合， 减少了在特征提取过程 中绝缘子缺陷处的特 征信息丢失， 从而提高网络检测绝 缘子缺陷的精度。 5.一种航拍绝 缘子自爆缺陷的检测方法， 其特 征在于， 其检测过程按以下步骤进行： 步骤S1、 采集 绝缘子缺陷图像， 构建绝 缘子缺陷数据集； 步骤S2、 训练MD D‑YOLOv3网络， 获取绝 缘子缺陷检测模型； 步骤S3、 无 人机航拍采集图像， 测试绝 缘子缺陷检测模型； 步骤S4、 输出绝 缘子缺陷检测模型检测结果， 识别与定位 绝缘子缺陷。 6.根据权利要求5所述一种航拍绝缘子自爆缺陷的检测方法， 其特征在于， 所述步骤S1 中构建绝 缘子缺陷数据集， 对 采集的绝 缘子缺陷图片标注以及数据扩充； 所述绝缘子缺陷图片标注， 采用标注工具LabelImg对图片中绝缘子和绝缘子缺陷处进 行标注， 标注类别为insulator和defect， 每张图片生成相应标注位置信息和类别的xml文 件； 所述绝缘子缺陷数据集扩充， 采集的图片数量较少， 网络训练容易过拟合， 对原有图片 进行翻转、 随机裁剪、 旋转、 平移、 噪声扰动以及 亮度对比度变换， 对扩充的数据集按照比例 8:2划分为训练集和 测试集。 7.根据权利要求5所述一种航拍绝缘子自爆缺陷的检测方法， 其特征在于， 所述步骤S2 中训练MD D‑YOLOv3网络过程如下: 步骤S2.1、 将待检测的绝 缘子缺陷图像输入主干网络D ‑Darknet53中提取特征输出L4； 步骤S2.2、 L4作为特征挖掘模块的输入， 经过三个卷积特征层后， 将提取的特征L5输入 Dense‑SPP模块， 得到Dense ‑SPP挖掘出的特征L6， L6经过三个依次相连的卷积特征层获得特 征L7， 即为特征挖掘模块的最终输出； 步骤S2.3、 特征挖掘模块的输出L7与主干网络的三个残差模块的输出Li(i＝1,2,3)作 为四尺度预测层的输入； 大尺度的三支路分别由上一层经过卷积 上采样操作与Li(i＝1,2, 3)进行拼接操作后， 再 经过5个卷积特 征提取得到输出Ai(i＝1,2,3)； 步骤S2.4、 Ai(i＝1,2,3,4)经过两个卷积操作后， 得到四个不同尺度预测特征图Bi(i＝ 1,2,3,4)； 步骤S2.5、 将Bi(i＝1,2,3,4)的集合记为L8， 对L8使用非极大值抑制算法NMS后剔除冗 余框， 得到的绝 缘子自爆缺陷检测结果。权　利　要　求　书 2/3 页 3 CN 114677357 A 3