(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210635192.8 (22)申请日 2022.06.07 (71)申请人 北京科技大 学 地址 100083 北京市海淀区学院路3 0号 (72)发明人 支瑞聪　赵镜儒　 (74)专利代理 机构 北京市广友专利事务所有限 责任公司 1 1237 专利代理师 张仲波 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06N 5/04(2006.01) G06T 7/73(2017.01) (54)发明名称 一种基于关系学习的遥感影像目标检测方 法 (57)摘要 本发明提供一种基于关系学习的遥感影像 目标检测方法， 属于遥感影像领域。 所述方法包 括： 针对遥感影像， 获取利用区域生成网络生成 的候选框， 将候选框划分为前景框、 推理框和背 景框； 采用双头推理策略， 为分类和定位任务分 别构建图推理模块， 通过构建的图推理模块为分 类和定位任务分别构建候选框之间视觉关系图 和位置关系图， 根据构建的视觉关系图和位置关 系图同时进行关系推理， 得到每个候选框的推理 特征； 将区域生成 网络生成的候选框特征以及推 理特征进行拼接， 并通过多层感知机进行特征融 合， 再次对候选框进行分类和定位。 采用本发明， 能够挖掘出遥感影像前景和背景中潜在的关系 信息， 从而提升对遥感影 像目标的检测精度。 权利要求书2页 说明书11页 附图3页 CN 115100516 A 2022.09.23 CN 115100516 A 1.一种基于关系学习的遥感影 像目标检测方法， 其特 征在于， 包括： S101， 针对遥感影像， 获取利用区域生成网络生成的候选框， 将候选框划分为前景框、 推理框和背景框； 其中， 包 含真实框局部或全局信息的背景框叫做推理框； S102， 为每个类别分别构建对应的推理类别， 首次对前景框、 推理框和背景框进行分类 和定位； S103， 采用双头推理策略， 为分类和定位任务分别构 建图推理模块， 通过构 建的图推理 模块将S102得到的分类器和回归器的权重 分别作为类别的视觉语义信息和位置语义信息， 为分类和定位任务分别构建候选框之 间视觉关系图和位置 关系图， 根据构建的视觉 关系图 和位置关系图同时进行关系推理， 得到每 个候选框的视觉推理特 征和位置推理特 征； S104， 将S101中获取的候选框特征以及S103中得到的对应的视觉推理特征和位置推理 特征进行拼接， 并通过多层感知机进行 特征融合， 再次对候选 框进行分类和定位。 2.根据权利要求1所述的基于关系学习的遥感影像目标检测方法， 其特征在于， 所述针 对遥感影像， 获取利用区域生成网络生成的候选框， 将候选框划分为前景框、 推理框和背 景 框包括： 针对遥感影像， 获取利用区域生成网络生成的候选框， 并根据候选框和真实框的交并 比将候选 框划分为前 景框、 推理框和背景框 。 3.根据权利要求1所述的基于关系学习的遥感影像目标检测方法， 其特征在于， 所述采 用双头推理策略， 为分类和 定位任务分别构建图推理模块， 通过构建的图推理模块将S102 得到的分类器和回归器的权重 分别作为类别的视觉语义信息和位置语义信息， 为分类和定 位任务分别构建候选框之 间视觉关系图和位置 关系图， 根据构建的视觉关系图和位置 关系 图同时进行关系推理， 得到每 个候选框的视觉推理特 征和位置推理特 征包括： 为分类任务构建第一图推理模块， 通过第一图推理模块将S102得到的分类器的权重作 为类别的视觉语义信息， 利用分类器输出的候选框的分类得分将 类别的视觉语义信息映射 到候选框中， 得到视觉节 点特征Vcls； 根据得到的Vcls， 利用图自编码器自适应地学习候选框 之间的视觉关系， 得到视觉节点邻接矩阵Acls； 根据得到的Vcls和Acls， 构建候选框之间的视 觉关系图Gcls＝{Vcls， Acls}； 根据构建的视觉关系图Gcls＝{Vcls， Acls}， 利用第 一图卷积神经 网络进行图信息传播， 实现推理特 征的学习， 得到每 个候选框的视觉推理特 征； 为定位任务构建第二图推理模块， 通过第二图推理模块将S102得到的回归器的权重作 为类别的位置语义信息， 利用分类器输出的候选框的分类得分将 类别的位置语义信息映射 到候选框中， 得到位置节 点特征Vloc； 根据得到的Vloc， 利用图自编码器自适应地学习候选框 之间的位置关系， 得到位置节点邻接矩阵Aloc； 根据得到的Vloc和Aloc， 构建候选框之间的位 置关系图Gloc＝{Vloc， Aloc}； 根据构建的位置关系图Gloc＝{Vloc， Aloc}， 利用第 二图卷积神经 网络进行图信息传播， 实现推理特 征的学习， 得到每 个候选框的位置推理特 征； 其中， 第一图推理模块和第二图推理模块分别针对目标检测的分类和定位任务， 并行 学习各自任务的推理特 征。 4.根据权利要求3所述的基于关系学习的遥感影像目标检测方法， 其特征在于， 所述视 觉节点特 征Vcls表示为： Vcls＝softmax(cls_socre)Wcls 其中， Wcls表示分类器的权重， cls_socre表示分类器输出的候选框的分类得分，权　利　要　求　书 1/2 页 2 CN 115100516 A 2softmax函数用于将cls_ socre的值转换到0到1之间， 表 示当前候选框属于各个类别的概率 pcls。 5.根据权利要求3所述的基于关系学习的遥感影像目标检测方法， 其特征在于， 所述位 置节点特 征Vloc表示为： Vloc＝softmax(cls_socre)Wloc_reshape 其中， Wloc_reshape表示每个类别的语义信息， 由回归器的权重Wloc经过维度变换得到， cls_socre表示分类器输出的候选框的分类得分， softmax函数用于将cls_socre的值转换 到0到1之间， 表示当前候选 框属于各个 类别的概 率pcls。 6.根据权利要求3所述的基于关系学习的遥感影像目标检测方法， 其特征在于， 所述根 据得到的Vcls， 利用图自编 码器自适应地学习候选框之间的视觉 关系， 得到视觉节 点邻接矩 阵Acls包括： 利用图自编码器将视觉节点特征Vcls编码成隐变量Z， 并利用矩阵乘法作为解码器， 学 习到候选 框之间的关系信息 ε： ε＝ZZT， with Z＝encoder(V) 其中， V＝Vcls， ei， j∈ ε表示节点之间的相似度， encoder 表示编码器； 对ε进行采样， 即令ε中每一列最大的前k个值为1， 其余的值为0， 得到稀疏的邻接矩阵 Acls： 其中， Acls＝Ai， j， i， j∈[0， r ‑1]， r表示候选框的个数， k表示需要回归的参数个数。 7.根据权利要求3所述的基于关系学习的遥感影像目标检测方法， 其特征在于， 所述根 据构建的视觉关系图Gcls＝{Vcls， Acls}， 利用第一图卷积神经网络进行图信息传播， 实现推 理特征的学习， 得到每 个候选框的视觉推理特 征包括： 根据构建的视觉关系图Gcls＝{Vcls， Acls}， 利用第一图同构网络进行Vcls和Acls的信息传 播， 得到每 个候选框的视觉推理特 征。 8.根据权利要求3所述的基于关系学习的遥感影像目标检测方法， 其特征在于， 所述根 据构建的位置关系图Gcls＝{Vcls， Acls}， 利用第二图卷积神经网络进行图信息传播， 实现推 理特征的学习， 得到每 个候选框的位置推理特 征包括： 根据构建的位置关系图Gloc＝{Vloc， Aloc}， 利用第二图同构网络进行Vloc和Aloc的信息传 播， 得到每 个候选框的位置推理特 征。权　利　要　求　书 2/2 页 3 CN 115100516 A 3