(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210569783.X (22)申请日 2022.05.24 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 刘冰　王甜甜　付平　高丽娜　 陈浩林　朱玉晴　付洪硕　闫铮　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 专利代理师 姜艳红 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多图神经网络协同学习架构的显 著性物体 检测装置及方法 (57)摘要 本发明是一种基于多图神经网络协同学习 架构的显著性物 体检测装置及方法。 本发明涉及 计算机视觉技术领域， 确定显著性边缘特征与显 著性区域特征， 将显著性边缘特征与显著性区域 特征分别通过图投影操作转化为边缘图节点与 区域图节点； 进行初始图交互， 实现图间信息的 传递； 将交互之后的送入动态信息增强图卷积 层， 完成图节点信息的充分挖掘； 将经过动态信 息增强图卷积层处理之后的边缘图节点与区域 图节点送入注 意力感知融合模块， 完成两种特征 的互补融合， 为显著性边缘特征与显著性区域特 征的学习过程提供互补线索。 本发 明提升显著性 物体检测性能， 弥补传统卷积神经网络的关系学 习能力不足的问题。 权利要求书4页 说明书13页 附图5页 CN 115063352 A 2022.09.16 CN 115063352 A 1.一种基于多图神经网络协同学习架构的显著性物体检测方法， 其特征是： 所述方法 包括以下步骤： 步骤1： 确定 显著性边缘特征与显著性区域特 征， 分别表示 为 与 步骤2： 将显著性边缘特征与显著性区域特征分别通过图投影操作 转化为边缘 图节点Ve与区域图节点Vr； 步骤3： 将边 缘图Ge与区域图Gr进行初始图交 互， 实现图间信息的传递； 步骤4： 将交互之后的边缘图Ge与区域图Gr送入动态信息增强图卷积层， 完成图节点信 息的充分挖掘； 步骤5： 将经过动态信息增强图卷积层 处理之后的边缘图节点 与区域图节点 送入 注意力感知融合模块， 完成两种 特征的互补融合， 为显著性边缘特征与显著性区域特征 的 学习过程 提供互补线索； 步骤6： 将步骤5得到的边缘图节点和区域图节点分别以相同方式经过3层动态信息增 强图卷积的处理以及相应地注意力感知融合模块的融合处理之后， 采用图重投影操作 将最终输出的边 缘图节点Vefinal和区域图节点Vrfinal映射回原 始坐标空间。 2.根据权利要求1所述的一种基于多图神经网络协同学习架构的显著性物体检测方 法， 其特征是： 通过下式确定边 缘图节点Ve与区域图节点Vr： 通过上述方式， 边缘图Ge＝(Ve,Ee)与区域图Gr＝(Vr,Er)构建完成， 其中， 表示图节点 集合， Ee(Er)表示图边 集合。 3.根据权利要求2所述的一种基于多图神经网络协同学习架构的显著性物体检测方 法， 其特征是： 所述步骤3具体为： 首先计算边缘图节点Ve与区域图节点Vr的相似性矩阵Ainter， 具体公式为： 其中， fnorm(·)表示归一 化操作； 然后将图交 互信息分别传递给边 缘图节点Ve与区域图节点Vr， 如下： 其中, λ∈[0,1]是平衡图交 互信息重要性的权衡参数,根据经验设置为1。 4.根据权利要求3所述的一种基于多图神经网络协同学习架构的显著性物体检测方 法， 其特征是： 所述步骤4具体为：权　利　要　求　书 1/4 页 2 CN 115063352 A 2利用欧氏距离计算每个图节点的最近k个邻居节点， 通过边学习函数 来学习当 前图节点vi与其邻居节点 之间的边权值大小 以充分挖掘当前图节点与其邻 居节点之间隐式存在的多种语义关系， 增强图节点之间的信息交 互， 具体计算过程： 其中， rlearn表示关系类型索引， R表示待学习的关系总数， 表示当前图节点vi的邻居 节点集合， 边学习函数 可以采用多层感知机 MLP来拟合学习， 定义 为： 利用来自多个可 学习边的信息更新当前图节点vi的嵌入信息， 即： 为了完成图节点内不同通道之间的信 息传递， 计算图节点之间基于通道的注意力归一 化系数矩阵， 表示 为： 其中， softmax( ·)操作对基于通道的注意力系数矩阵VTV的结果按列进行归 一化， 每列 中的元素表示从一个通道到其他通道的相关系 数， 因此， 同一图节点内不同通道之间的信 息传递通过下式完成： 为提高同一图节点内部特征的稳定性， 采用残差结构来结合原始图节点特征V'和 Vintra， 即： 其中， 表示最终输出的图节点特 征， α 控制Vintra对原始图节点特 征的影响， 根据经验设 置为0.2。 5.根据权利要求4所述的一种基于多图神经网络协同学习架构的显著性物体检测方 法， 其特征是： 所述步骤5具体为： 首先将边缘图节点 与区域图节点 按照对应图节点逐通道相加得到初始融合图节 点 计算方法如下式： 其次， 将初始 融合图节点 输入到一个由两个线性层组成的注意力子模块， 融合全局 节点信息， 生成逐节点的注意力权值， 即： 权　利　要　求　书 2/4 页 3 CN 115063352 A 3