(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210540019.X (22)申请日 2022.05.17 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 史明光　程旭东　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06T 7/00(2017.01) G06T 3/40(2006.01) G06V 10/44(2022.01) G06V 10/762(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 一种基于深度学习的绝 缘子检测方法 (57)摘要 本发明公开了一种基于深度学习的电力巡 检绝缘子检测分类方法， 包括： 1、 采集航拍无人 机巡检图像并进行预处理、 样本扩充； 2对绝缘子 位置坐标进行标记并建立绝缘子检测模型； 3、 训 练模型得到最优绝缘子检测模型， 用于对绝缘子 图像进行分类识别。 本发明从绝缘子数据集自身 的特性入手再结合深度学习方法， 从而能够精确 的识别出各种绝缘子， 从而能提高检测精度和目 标检测效果。 权利要求书2页 说明书7页 附图2页 CN 114820567 A 2022.07.29 CN 114820567 A 1.一种基于深度学习的电力巡检绝缘子检测分类方法， 其特征在于， 是按如下步骤进 行： 步骤1、 采集 航拍无人机巡检图像并进行 预处理， 得到预处 理后的绝 缘子图像集； 步骤2、 对所述预处理后的绝缘子图像集进行扩充样本， 得到扩充后的航拍绝缘子图像 集； 步骤3、 对所述扩充后的航拍绝缘子 图像集中的所有绝缘子 图像的绝缘子位置坐标进 行标记， 得到标记后的绝 缘子图像； 根据绝缘子材质分别对所述标记后的绝缘子图像中的图像添加类别标签， 从而得到包 含有m种类别的绝 缘子图像所构成的训练集； 步骤4、 建立基于深度 学习的绝缘子检测模型， 包括： 依次连接的特征提取网络层、 区域 建议网络层、 特 征融合层、 目标检测层； 步骤4.1、 构 建特征提取网络层， 包括： 第一特征层、 融合特征图层、 第二特征层、 第三特 征层； 步骤4.1.1构建所述第一特征层， 包括： 第一same卷积层、 一个维度 为c1×c1×n1的卷积 层、 第一BN层、 第一Relu层、 第二BN层、 第二Relu层； 所述第一same卷积层与第一BN层 连接后再与第一Relu层 连接， 所述第一Relu层与维度 为c1×c1×n1的卷积层连接后再依次与第二BN层和第二Relu层连接； 所述训练集中的一张维度为k1×k1×m1的绝缘子图像经过所述第一特征层的处理后输 出维度为 k2×k2×m2的特征图像f1； 步骤4.1.2、 构建所述 融合特征图层， 包括： 两个CBAM模块， 每个CBAM模块均由通道注意 力网络模块和空间注意力网络模块构成； 所述特征图像f1输入第一个CBAM模块中的通道注意力网络模块， 并分别经过基于宽度 的全局最大池化和基于高度的全局平均池化的处理后， 相应得到宽度特征图像F1和高度特 征图像F2； 所述宽度特征图像F1和高度特征图像F2分别经过第一个CBAM模块中两层的神经网络 MLP的处理后相应输出特征图像F3和F4， 并对特征图像F3和F4进行加和操作后再经过 sigmoid激活操作， 从而生成通道 注意力特 征F； 对所述通道注意力特 征F和所述特 征图像f1进行乘法操作后得到特 征图Y； 所述第一个CBAM模块中的空间注意力模块对所述特征图Y分别进行全局最大池化和全 局平均池化的处理后得到两个特征图， 并将两个特征图进 行通道拼接后再进 行卷积降维操 作， 得到降维后的特征图再经过sigmoid激活操作后生 成空间通道特征Feature； 最后， 将空 间通道特征Feature和特征图像f1进行乘法操作后， 生成维度为k2×k2×m2的第一融合特征 图像p1； 步骤4.1.3、 所述第一融合特征图像p1经过最大池化层的处理后 得到维度为k3×k3×m3 的特征图像p2； 步骤4.1.4、 构建所述第二特征层， 包括： 第二same卷积层、 一个c2×c2×n2的卷积层、 第 三BN层、 第三Relu层、 第四BN层、 第四Relu层； 所述第二same卷积层与第三BN层 连接后再与第三Relu层 连接， 所述第三Relu层与维度 为c2×c2×n2的卷积层连接后再依次与第四BN层和第四Relu层连接；权　利　要　求　书 1/2 页 2 CN 114820567 A 2所述特征图像p2经过第二特 征层的处 理后输出维度为 k4×k4×m4的特征图像f2； 步骤4.1.5、 所述特 征图像f2通过最大池化层的处 理后得到特 征图像p3； 步骤4.1.6、 构建所述第三特征层， 包括： 第三same卷积层、 一个c3×c3×n3的卷积层、 第 五BN层、 第五 Relu层、 第六BN层、 第六Relu层； 所述第三same卷积层与第五BN层 连接后再与第五Relu层 连接， 所述第五Relu层与维度 为c3×c3×n3的卷积层连接后再依次与第六BN层和第六Relu层连接； 所述特征图像p2经过所述特征图像p3经过第三特征层的处理后输出维度为k5×k5×m5 的特征图像f3； 步骤4.1.7、 所述特 征图像f3通过最大池化层的处 理后得到特 征图像p4； 步骤4.1.8、 所述特 征图像p4经过第二个CBAM模块的处 理后得到第二融合特 征图像p5； 步骤4.2、 所述第二融合特征图像p5输入所述区域建议网络层 中， 并在所述特征图像p5 上生成不同尺度和宽高比例的密集锚盒， 所述密集锚盒分别经过两条支路处理， 其中一条 支路通过卷积层和soft max函数对密集锚盒中 的区域特征进行分类， 得到前景特征图p6； 另 一条支路对密 集锚盒中属于前景特征图p6的锚盒进行边 界修正， 得到包含目标特征的候选 框图p7； 步骤4.3、 所述特征融合层将特征图像 f1、 f2和f3分别与所述候选框图p7进行融合， 得到 三个融合框图， 对三个融合框图分别依次进行RoIAlign池化操作和L2正则化操作， 相应得 到三个融合特征图f4、 f5和f6； 再对三个融合特征图f4、 f5和f6进行级联和重新缩放处理， 得 到维度为k6×k6×m6的合并特征图； 所述合并特征图通过维度为 1×1的卷积操作后， 得到维 度为k6×k6×m6的特征图； 步骤4.4、 所述目标检测层对维度为k6×k6×m6的特征图进行全连接操作后再通过 softmax函数进行分类， 得到所述训练集中的一张维度为k1×k1×m1的绝缘子图像的分类结 果； 步骤5、 基于所述训练集， 利用梯度下降法对所述基于深度 学习的绝缘子检测模型进行 训练， 并计算交叉熵损失函数， 用于更新模型参数， 当损失函数值不再下降并趋于稳定时停 止训练， 并得到最优绝 缘子检测模型， 用于对绝 缘子图像进行分类识别。权　利　要　求　书 2/2 页 3 CN 114820567 A 3