(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221045890 0.5 (22)申请日 2022.04.27 (71)申请人 安徽大学 地址 230601 安徽省合肥市经开区九龙路 111号 (72)发明人 涂铮铮　陈燕雯　韩寒　王越　 郑海军　谢星晨　伏傈豪　 (74)专利代理 机构 南京华恒专利代理事务所 (普通合伙) 32335 专利代理师 宋方园 (51)Int.Cl. G06V 20/10(2022.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/44(2022.01)G06V 10/46(2022.01) (54)发明名称 基于Transformer边界感知的光学遥感图像 显著目标检测方法 (57)摘要 本发明公开一种基于Transformer边界感知 光学遥感图像显著性目标检测方法， 本发明通过 注意力机制引导浅层特征挖掘更多细节信息； 通 过基于Tran sformer全局上下文信息模 块来建模 全局上下文信息， 从全局角度推断不同显著目标 以及显著目标内部的关系， 有利于生成更加完整 的显著性图； 此外通过边界感知解码器， 将各层 特征和边界特征进行交互融合， 在强调显著区域 的同时关注 边界信息， 从而 得到比其他先进 方法 更高置信度的显著图。 权利要求书3页 说明书9页 附图2页 CN 115049921 A 2022.09.13 CN 115049921 A 1.一种基于Transformer边界感知的光学遥感图像显著目标检测方法， 其特征在于： 包 括以下步骤： 步骤S1、 使用特征编码器编码获得遥感图像的多级特征， 并将遥感图像 特征标记为f1～ f4； 步骤S2、 通过空间注意力机制引导浅层特征f1和f2进行交互优化， 并融合提取共有区域 特征信息， 得到新的浅层特 征F1和F2； 步骤S3、 将高层特征f3和f4经过基于Transformer全局上下文模块对全局信息处理， 分 别得到含有 充分全局上 下文信息的特 征F3和F4； 步骤S4、 在边界感知解码器中， 分别将特征F1～F3中的边界信息增强， 并通过边界真值 监督得到边界特征F1′～F3′， 通过三个边界模块渐进地将每一层边界特征和强调显著区域 的特征融合， 得到 完整且边界清晰的显著图； 步骤S5、 通过 联合损失函数Lfinal监督训练网络得到最终预测图。 2.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方 法， 其特征在于： 所述步骤S1中特征编码器采用Swin ‑Transformer部分结构， 包括3个 stage； 每个stage中均包括多层重复的transformer模块， 每个transformer模块中均包括 window attention和shift  window attention； 并且每个stage均可缩小所输入的特征图 的分辨率。 3.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方 法， 其特征在于： 所述 步骤S2的具体方法为； 首先， 计算浅层特 征的空间注意力图As： As＝SpatialA ttn(fi) SpatialA ttn(fi)＝σ(Conv(Cat(AvgPo ol(fi),Maxpool(fi)))) 其中， i＝1,2， σ(*)表示sigmoid激活函数， Conv表示卷积层， Cat表示特征按通道维度 级联， AvgPo oling表示平均池化， Maxpo oling表示最大池化； 将空间注意力图As与对应的特 征图fi相乘， 得到的新的特 征图fi′： fi′＝As×fi 然后， 将两个浅层特 征相乘并通过3 *3的卷积处 理得到浅层融合特 征ffuse： ffuse＝Conv(f1×f2) 将浅层融合特征 ffuse分别与f1′和f′2通过元素级加法进行融合实现共有区域特征的提 取， 进而得到新浅层特 征F1， F2； 其中， F1＝f1′+ffuse， F2＝f′2+ffuse。 4.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方 法， 其特征在于： 所述 步骤S3中基于Transformer全局上 下文模块具体方法为： 步骤S3.1、 将高层特 征f3下采样至f4相同的分辨 率并将其相加得到高层融合特 征 步骤S3.2、 使高层融合特 征 通过双分支的结构获取全局上 下文信息； 分支一通过Transformer层得到具有全局感受野的全局特 征G1： 其中， T代表一组Transformer层， Conv1代表1*1卷积操作， BN代表批量归一化层， ρ(*)权　利　要　求　书 1/3 页 2 CN 115049921 A 2代表ReLU函数； 分支二通过平均池化得到 的全局特 征G2对分支一进行补充和 增强目标区域： 步骤S3.3、 将两分支通过元素级相加进行融合， 再利用一个Sigmoid激活函数生成一个 权重φ分别作用于高层特 征f3、 f4得到含有 充分全局上 下文信息的特 征F3、 F4： φ＝Sigmo id(G1+G2) F3＝f3×φ F4＝f4×φ。 5.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方 法， 其特征在于： 所述 步骤S4的具体过程 为： S4.1、 将新浅层 特征F1， F2以及特征F3经过通道注意力以及残差连接对边界信息进一步 挖掘， 得到F1′， F′2， F3′， 并用边界真值 监督得到边界特 征： Ac＝ChannelAttn(Fi) ChannelAttn(Fi)＝σ(Maxpo ol(Fi)) Fi′＝Fi+Ac×Fi， i＝1， 2， 3 S4.2、 在边界感知解码器中， 输入通过编码器得到的各层级特征F1～F4以及边界特征 F1′～F3′， 先将最高层特征F4上采样至F3相同尺寸并融合， 接着通过三个重复的边界模块使 边界特征F1′～F3′和F1～F4进行交互融合， 逐渐细化生成更加完整且边缘较清晰的显著性 图； 解码器中的每个边界模块均包括两个分支， 一个分支将边界特征二倍上采样至下一层 特征相同分辨 率， 两者像素级相乘得到边 缘区域E1： E1＝Up(F3′)×F2 用1减去边界特 征得到除去边界的区域 另一个分支将特征F3上采样与 相同大小， 然后将除去边界的区域 和F3相乘强调较明 确的显著区域E2： S4.3、 将显著区域E2和互补的边缘区域E1进行融合得到F2″， 并将新的特征图F2″和下一 层特征融合再重复送入边界模块： F2″＝E1+E2 F2＝F2″+F2。 6.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方 法， 其特征在于： 所述 步骤S5中联合损失函数Lfinal为： Lfinal＝Ls+Le 其中， Ls为显著损失函数， Le为边界损失函数； 显著损失函数 具体为： Ls＝Lbce+Ldice+Lsmooth权　利　要　求　书 2/3 页 3 CN 115049921 A 3