(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210424515.9 (22)申请日 2022.04.21 (71)申请人 河南工业大 学 地址 450001 河南省郑州市高新区莲 花街 100号 (72)发明人 李斌全　吴兰　龚丽爽　郭鑫　 王瞧　 (74)专利代理 机构 北京圣州专利代理事务所 (普通合伙) 11818 专利代理师 黄青青 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种跨域高分辨率遥感图像典型目标细粒 度识别方法 (57)摘要 本发明公开了一种跨域高分辨率遥感图像 典型目标细粒度识别方法， 涉及遥感图像技术领 域， 包括以下步骤： 获取典型目标的跨域高分辨 率遥感图像， 对源域高分辨率遥感图像进行预训 练； 利用预训练得到的深度神经网络对高分辨率 遥感图像进行 公共域不变特征提取； 根据公共域 不变特征构建典型目标的细粒度视觉并进行识 别。 本发明通过源域高分辨率遥感图像预训练， 公共域不变特征提取， 典型目标的细粒度视觉构 建与识别， 解决跨域条件下高分遥感图像典型目 标的细粒度识别问题， 提升识别的有效性与精 度。 权利要求书3页 说明书7页 附图1页 CN 115131671 A 2022.09.30 CN 115131671 A 1.一种跨 域高分辨 率遥感图像典型目标细粒度识别方法， 其特 征在于， 包括以下步骤： 获取典型目标的跨 域高分辨 率遥感图像， 对 源域高分辨 率遥感图像进行 预训练； 利用预训练得到的深度神经网络对高分辨 率遥感图像进行公共域 不变特征提取； 根据公共域 不变特征构建典型目标的细粒度视 觉并进行识别。 2.根据权利要求1所述的方法， 其特征在于， 所述获取典型目标的跨域高分辨率遥感图 像， 对源域高分辨 率遥感图像进行 预训练； 具体包括： 设遥感图像源域目标训练样本D＝(xi,ti)， i＝1,2, …,n， n为训练样本总数， xi为样 本， ti为样本标签； 利用深度神经网络对样本进行训练， 其中， 定义W为网络参数， H为网络结构， 此时样本 训练误差 ED可以如下表示： 其中， f()为网络对于典型目标训练样本的实际输出值， 考虑到训练学习过程中网络参 数权重的影响， 在训练误差后加上权 重衰减项EW： 其中， m表示网络中的参数 数量.wi为权重； 因此整体训练误差可以如下表示： F(W)＝β ED+α EW；                   (3) 其中， α 、 β 是超参数， 要用来对网络参数的分布形式进行控制； 然后， 利用贝叶斯公式对 超参数α 、 β 进行推断表示和计算 求解， 其后验分布形式如下： 由于式(4)中p(D|H)与α、 β 无关， 所以， 模型参数最大后验求解问题等价于最大似然函 数P(D|α, β,H)的计算 求解。 设F(W)取最小值时所对应的权值为WMP， 利用最大似然原理， 求出满足最大似然函数的 α 、 β， 即得到网络最优的超参数， 如下 所示， 其中， 表示网络中有多少参数在训练过程中起作用， 其取值范围 是[0,m]， m表示网络参数的总体数量； 在对网络模型进行优化求解时， 需要对F(W)在其最小点WMP处的Hessian矩阵进行求解 计算 ， 即 这里采 用高斯 ‑牛顿逼近法对Hessian阵 进行简化 ， 得到 其中J是ED在点WMP的雅可比矩阵， Im为单位矩阵。 3.根据权利要求2所述的方法， 其特征在于， 所述α、 β 是超参数， 在初始化超参数时， 设 定α ＝0和β ＝1， 对网络参数 赋予初始值。 4.根据权利要求1所述的方法， 其特征在于， 所述对源域高分辨率遥感图像预训练得到 的深度神经网络进行公共域 不变特征提取； 具体包括：权　利　要　求　书 1/3 页 2 CN 115131671 A 2深度神经网络作为公共域不变特征的初 始提取网络， 定义该网络为Z， 源域中样本为xi， 样本标签为ti， 目标域中样本为xj； 此时， 源域样本分类损失可以表示 为： Lcls＝Φi(Z(xi)),yi；            (6) Φi为特定的线性层； 定义源域、 目标域的域判别模型损失： LD(D(x(i),x(j)))＝E[logD(G(x(i)))]+E[log(1‑D(G(x(j))))]；   (7) 定义欺骗域判别模型的损失： LG(G(x(i),x(j)))＝||E[G(x(i))]‑E[G(x(j))]||2；        (8) 定义总体损失： Ltotal＝Lcls+LD(D(x(i),x(j)))+LG(G(x(i),x(j)))；        (9) 将总体损失作为目标函数进行优化 求解， 得到公共域 不变特征。 5.根据权利要求1所述的方法， 其特征在于， 所述根据公共域不变特征构建典型目标的 细粒度视 觉并进行识别； 具体包括： 根据公共域 不变特征提取的主干网络获取局部判别性区域； 对局部判别性区域进行注意力聚焦， 进行强制学习局部判别性区域； 对局部判别性区域进行注意力转移， 获得全局 ‑多局部判别性区域融合特 征矩阵； 对全局‑多局部判别性区域融合特 征矩阵进行分类， 实现细粒度识别。 6.根据权利要求5所述的方法， 其特征在于， 所述根据公共域不变特征提取的主干网络 获取局部判别性区域； 具体包括： 公共域不变特征主干网络生成N个特征Maps， 可以表示为F∈RH×W×N， 其中， H、 W、 N分别 表 示高度， 宽度与通道数； 随后特征Maps经过卷积运算f( ·)得到M个注 意力Maps， 可以表 示为 A∈RH×W×M， 其中， H、 W、 M  分别表示高度， 宽度与注意力Maps的数量； M个注意力Maps中每一个Ak表征了目标的某一个局部判别性区域。 7.根据权利要求5所述的方法， 其特征在于， 所述对局部判别性区域进行注意力聚焦， 进行强制学习局部判别性区域； 具体包括： 对Ak进行归一化处理得到Ak*， 设定阈值θC， 此时， 将Ak*(i,j)大于阈值 的元素置为1， 其 他置为0， 得到聚焦后的Mask  Ck， 用以表征某一个局部判别性区域， 将其上采样至原输入样 本尺寸， 作为 一个新的样本 输入对模型进行训练， 以强制模型 学习这些局部判别性区域。 8.根据权利要求5所述的方法， 其特征在于， 所述对局部判别性区域进行注意力转移， 获得全局 ‑多局部判别性区域融合特 征矩阵； 具体包括： 设定阈值θD， 将Ak*(i,j)小于阈值的元素置为1， 其他置为0， 得到注意力转移后的Mask   Dk， 用以表征其 他具有判别性的局部区域， 增强目标多局部判别性特 征的表示能力； 当主干网络生成N个表征全局信息的特征Maps与表征多局部判别性区域的M个注意力 Maps后， 利用双 线性注意力池化进 行全局‑多局部区域判别性特征的多模态融合， 即将特征 Maps与某一局部区域的注意力Map按元 素对应相乘得到Fk； Fk＝Ak×F(k＝1,2,……M)；                   (11) 然后， 通过全局平均 池化策略得到特征向量fk＝g(Fk)， 最后， 将典型目标的多个局部区权　利　要　求　书 2/3 页 3 CN 115131671 A 3