(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210381997.4 (22)申请日 2022.04.12 (71)申请人 中国电子技 术标准化研究院 地址 100007 北京市东城区安定门东大街1 号 (72)发明人 范科峰　洪开　 (74)专利代理 机构 成都宏田知识产权代理事务 所(普通合伙) 51337 专利代理师 钟隆辉 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于迁移学习的红外图像超分辨率重 建方法 (57)摘要 本发明涉及图像超分辨率重建技术领域， 具 体地说是一种基于迁移学习的红外图像超分辨 率重建方法， 包括构建全局 网络， 在两个相邻的 局部蒸馏模块之间采用差值算法， 获取图像的高 频信息， 在局部模块之间采用级联连接， 保留图 像的低频信息和采用预训练网络与微调网络的 迁移学习策略， 本发明同现有技术相比， 根据迁 移学习的思想， 通过构建了特征蒸馏网路、 提炼 分支、 局部蒸馏模块差值算法和训练内容， 利用 小样本红外图像集， 重建出高质量的红外图像 。 权利要求书2页 说明书5页 附图2页 CN 114708148 A 2022.07.05 CN 114708148 A 1.一种基于 迁移学习的红外图像超分辨 率重建方法， 其特 征在于， 包括以下步骤： S1： 构建全局网络， 主要由浅层特征提取层、 局部蒸馏模块为核心的非线性映射层和上 采样层组成， 所述上采样层采用sub ‑pixel函数对提取的特 征图像进行放大； S2： 在两个相邻的局部蒸馏模块之间采用差值 算法， 获取图像的高频信息； S3： 在局部模块之间采用级联 连接， 保留图像的低频信息； S4： 在训练阶段， 采用预训练网络与微调网络的迁移学习策略。 2.根据权利要求1所述的一种基于迁移学习的红外图像超分辨率重建方法， 其特征在 于， 所述S1的具体步骤为： S2‑1： 在浅层特 征提取层中， 仅采用一个3 ×3卷积来提取浅层特 征； S2‑2： 在非线性映射层中， 通过特征蒸馏模块， 该模块将提取的浅层特征进行两分支处 理； 其中一个分支 为蒸馏分支， 采用1 ×1卷积对浅层提取的特征进 行处理， 保留部 分粗糙的 特征至后续的连接层； 另一分支为提炼分支， 采用非对称扩张卷积残差块来进一步提炼出 细致的特征； 对于非对称扩张卷积残差块， 是将1 ×3卷积与3 ×1卷积进行串联连接， 并对第 一个卷积的输入 采用恒等连接， 之后采用Relu函数对该残差块进行激活； 所述两个分支分别进行三 次迭代， 并且在提炼分支的末端采用带有扩 张卷积的非对称 扩张卷积残差块进行并行连接， 用来扩大网络的感受视野； 将两个分支提取 的特征在通道 维度进行特征连接后， 采用通道混洗机制， 增加通道间的信息交互 能力； 在局部蒸馏模块的 末端引入增强型空间注意力机制， 重新校准融合特 征的权重。 3.根据权利要求1所述的一种基于迁移学习的红外图像超分辨率重建方法， 其特征在 于， 所述S2中低频信息对应图像的整体轮廓， 高频信息则是对应图像的细节信息； 所述两个 相邻的局部蒸馏模块， 后一个模块mn相比于前一个模块mn‑1， 经历更多的卷积层， mn包含更多 的高频信息， mn与mn‑1有大量相同的低频信息， 采用差值算法mn‑mn‑1获取图像的高频特征信 息。 4.根据权利要求1所述的一种基于迁移学习的红外图像超分辨率重建方法， 其特征在 于， 所述S3中将非线性映射层中的局部蒸馏模块采用级联方式进行连接， 将每一个局部蒸 馏模块的输出传递到后续的连接层， 将低频信息保留下来， 保证信息的不丢失。 5.根据权利要求1所述的一种基于迁移学习的红外图像超分辨率重建方法， 其特征在 于， 所述S4的训练步骤 包括： S41， 预训练阶段将800张DIV2K可视化图像作为训练数据集进行训练， 并采用MAE作为 损失函数， 获取可视化图像之间的非线性映射关系， 将此作为基底； 在预训练结束后， 保留 该网络权值不变， 将其作为预训练网络， 进行下一阶段微调训练， 所述MAE损失函数表达式 为： ISR和IHR分别代表重建后的SR图像和与其对应的真值HR图像； S42， 对于微调网络， 采用小样本的55张红外图像集进行训练， 采用MSE作为损失函数， 获取红外图像之间的非线性映射关系， 所述MSE损失函数表达式为： 权　利　要　求　书 1/2 页 2 CN 114708148 A 2ISR和IHR分别代表重建后的SR图像和与其对应的真值HR图像。权　利　要　求　书 2/2 页 3 CN 114708148 A 3