(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211027107.6 (22)申请日 2022.08.25 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 (72)发明人 陈静　黄浩阳　江灏　缪希仁　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 郭东亮　蔡学俊 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合图论推理的输电线路螺栓缺销钉 检测方法 (57)摘要 本发明提出一种融合图论推理的输电线路 螺栓缺销钉检测方法， 所述检测方法基于的目标 检测算法利用图像语义算法提取图像的结构语 义特征， 学习输电线路部件的空间关系和部件间 的连接关系， 并与特征提取网络输出的视觉特征 相融合来增强特征， 由分类器和回归器输出图中 螺栓的位置并判定销钉是否缺失； 所述图像语义 算法以Faster  R‑CNN框架为基础来加入GRM模 块 并构建GR ‑RCNN算法， 以加强目标检测算法对图 中螺栓类小目标的识别能力， 在判定销钉是否缺 失时， 以销钉未缺失的螺栓类图像为正样本， 利 用Fastflow算法来判定待检测图像中的螺栓是 否缺销钉； 本发明能提高小目标检测精度， 和解 决螺栓缺销钉的缺陷样本不足的问题。 权利要求书4页 说明书8页 附图2页 CN 115393714 A 2022.11.25 CN 115393714 A 1.一种融合图论推理的输电线路螺栓缺销钉检测方法， 其特征在于： 所述检测方法基 于的目标检测算法利用图像语义算法提取图像的结构语义特征， 学习输电线路部件的空间 关系和部件间的连接关系， 并与特征提取网络输出 的视觉特征相融合来增强特征， 由分类 器和回归器输出图中螺栓的位置并判定销钉是否缺失； 所述图像语义算法以Faster  R‑CNN 框架为基础来加入GRM模块并构建GR ‑RCNN算法， 以加强目标检测算法对图中螺栓类小目标 的识别能力， 在判定销钉是否缺 失时， 以销钉未缺 失的螺栓类图像为正样 本， 利用Fastflow 算法来判定待检测图像中的螺 栓是否缺销钉。 2.根据权利要求1所述的一种融合图论推理的输电线路螺栓缺销钉检测方法， 其特征 在于： 所述检测方法包括以下流 程： 流程一、 首先将航拍图像和图像数据输入结构语义表达模型进行训练， 训练好的模型 输出能够表达图像包 含的空间结构的语义特 征； 流程二、 将结构语义表达模型的输出与航拍图像一起输入目标检测模型， 进行识别检 测以判定图像中是否有螺 栓； 流程三、 当判定图像中有螺 栓后， 再以缺陷检测算法检测图像中的螺 栓是否缺销钉。 3.根据权利要求2所述的一种融合图论推理的输电线路螺栓缺销钉检测方法， 其特征 在于： 所述 流程一、 流程二采用的方法具体包括以下步骤； 步骤S1、 制作电力巡检输电线路部件的图像数据集； 步骤S2、 提取结构语义特征， 以GRM模块作为特征提取网络的结构语义表达模型， 模型 的输入为图像的视觉特征， 模型输出 的图数据包含具有空间结构、 部件连接关系的图像特 征数据； 图数据的节点 为各部件图像特 征和图像标签， 边 为连接关系， 以公式表述 为 P(S＝(V， E， O， R)|I)       公式一； 其中I表示图像， V是I中各部件的图像特征对应 的节点， 表示节点之间的关系， 即图数据中的边， O表示各部件的标签,R表示各 连接关系的标签； GRM模块包括目标候选区域ORP、 关系候选网络RsPN和图数据标记Graph  Labeling， 其 用公式表达为： P(S|I)＝P(V|I)P(E|V， I)P(R， O|V， E， I)   公式二； 将结构语义表达模型嵌入Faster ‑RCNN形成GR ‑RCNN算法(Graph  Reasonning  Region  Convolutional  Neural Networks)， 所述GR‑RCNN算法包括一阶段算法和二阶段算法， 通过 融合结构语义表达模型的图像视 觉特征来增强并提高最终的检测效果； 步骤S3、 ORP中使用F aster R‑CNN框架从输入图像中提取一组n个obj ect proposal， 每 个object  proposal对应一个目标节点， 包含空间区域 经过池化的特征 向量 关于类C＝{1， ...， k}中的初始预测的标签分布 将所有proposals的向量集合 分别表示 为矩阵Ro∈Rn×4， Xo∈Rn×d,Po∈Rn×|C|； 步骤S4、 引 入RsPN网络进行学习并预测杆塔中输电线路部件之间的相 关性； 通过修剪 没有关联的边， 对结构 语义模型进行稀疏操作， 以保留有效的边， 抑制毫无关联的边产生的 噪声； 初始化类分布Po， 总共有n*(n ‑1)对不同方向的关系对 计算其相关性权　利　要　求　书 1/4 页 2 CN 115393714 A 2其中f(x,y)是可以输出相关性分数的多层感知 器， 以非对称核函数的公式 表述为 其中φ(x)， ψ(y)分别为关系中主体与 客体的投影函数， 由两个相同结构的多层感知器 构成， 计算出分数矩阵S＝{sij)n×n； 最后经过sigmoid激活函数将分数矩阵S各个元素映射 到[0,1]； 步骤S5、 将处理后的分数矩阵S按降序进行排序， 并选择前K对， 然后使用NMS(Non   Maximum Suppression非极大抑制)过 滤掉与其 他对象有明显 重叠的对象对； 计算两个关系对{u,v}和{p,q}之间重 叠程度的公式为： 其中字符I表示交集， U表示并集。 将重叠度高的关系对去除之后， 剩下m个关系对均为 有效的关系E； 最终可以得到图数据G＝(V,E)， 即为经 过稀疏操作后的图数据； 步骤S6、 构 建一个AGCN来学习图数据的结构特征和上下文信息， AGCN由两层GCN网络和 一个注意力模块组成， 网络的逐层传播为： 对于图数据中的目标节点i， 通过训练后的隐藏 权重矩阵W对相邻节点{zi∈Rd}进行线性变换， 并集合一个权重α， 最后经过激活函数ReLU； 整个逐层 传播过程用公式表示 为： 或者等价于一个矩阵表示： 其中αi∈[0， 1]n； 步骤S7、 GCN中的图数据的连接关系是已知的且基于节点特征预测的αi， 为αi添加一个 可训练的注意力模块， 以公式表述 为 其中wh和Wa是学习参数， [x,y ]形式的表述是连接操作， 设αii＝1， αij＝0， 所述 注意力模块是学习节点特征的函数， 其每次迭代都会导致值 发生改变,从而影响后续迭代， 公式为 αi＝softmax(ui) 公式八； 步骤S8、 计算损失函数， 具体为： 公式二表述GR ‑RCNN分为的三部分中， P(V|I)使用与 FasterR‑CNN中RPN相同的损失函数； P(E|V， I)在RsPN上使用二元交叉熵损失和anchors的 回归损失函数； P(R， O|V， E， I)使用两个多类交叉熵损失函数进行分类； 步骤S9、 基于图数据对图像特征进行增强。 通过上述步骤构建语义结构模型后， 将 FasterR‑CNN提取的视 觉特征与图数据的结构特 征进行特征融合， 其公式如下：权　利　要　求　书 2/4 页 3 CN 115393714 A 3