(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211139499.5 (22)申请日 2022.09.19 (71)申请人 中国铁道科 学研究院集团有限公司 地址 100081 北京市海淀区大柳树路2号 申请人 中国铁道科 学研究院集团有限公司 基础设施检测研究所 　 北京铁科英迈技 术有限公司 (72)发明人 刘俊博　陈宏源　王凡　王胜春　 黄雅平　裴艳婷　顾子晨　王昊　 戴鹏　杜馨瑜　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 薛平　郝博 (51)Int.Cl. G06V 10/764(2022.01)G06V 10/82(2022.01) G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图像超分和知识蒸馏的低分辨率图像 识别方法和装置 (57)摘要 本发明提供了一种基于图像超分和知识蒸 馏的低分辨率图像识别方法和装置， 该方法包 括： 获取高分辨率图像和低分辨率图像； 根据高 分辨率图像和低分辨率图像， 训练超分子网络， 得到训练好的超分子网络， 确定超分图像； 所述 超分子网络用于提升图像的分辨率， 所述超分图 像的分辨率高于低分辨率图像； 根据高分辨率图 像和超分图像， 训练蒸馏子网络， 得到训练好的 蒸馏子网络； 所述蒸馏子网络用于对图像进行分 类； 根据训练好的超分子网络和练好的蒸馏子网 络， 确定低分辨率图像分类网络； 根据低分辨率 图像分类网络， 对采集的低分辨率真实图像进行 分类识别， 确定分类识别结果。 本发明增强了低 分辨率图像的特 征， 提高了图像的分类准确率。 权利要求书3页 说明书14页 附图6页 CN 115527063 A 2022.12.27 CN 115527063 A 1.一种基于图像超分和知识蒸馏的低分辨 率图像识别方法， 其特 征在于， 包括： 获取高分辨 率图像和低分辨 率图像； 根据高分辨率图像和低分辨率图像， 训练超分子网络， 得到训练好的超分子网络， 确定 超分图像； 所述超分子网络用于提升图像的分辨率， 所述超分图像的分辨率高于低分辨率 图像； 根据高分辨率图像和超分图像， 训练蒸馏子网络， 得到训练好的蒸馏子网络； 所述蒸馏 子网络用于对图像进行分类； 根据训练好的超分子网络和练好的蒸馏子网络， 确定低分辨 率图像分类网络； 根据低分辨率图像分类网络， 对采集的低分辨率真实图像进行分类识别， 确定分类识 别结果。 2.如权利要求1所述的方法， 其特征在于， 根据高分辨率图像和低分辨率图像， 训练超 分子网络， 得到训练好的超分子网络， 确定超分图像， 包括： 利用生成对抗网络构建超分子网络； 所述超分子网络， 包括： 生成器网络和判别器网 络； 根据生成器网络、 判别器网络、 高分辨率图像和低分辨率图像， 确定超分子网络损失函 数； 根据超分子网络损失函数训练超分子网络， 得到训练好的超分子网络； 将低分辨 率图像输入训练好的超分子网络， 确定超分图像。 3.如权利要求2所述的方法， 其特 征在于， 按照如下 方式， 构建超分子网络： 其中， IHR为高分辨率图像； ILR为低分辩图像； ω为生成器参数； θ为判别器参数； D为判别 器网络； G为生成器网络； 为IHR服从pdata(IHR)概率分布的期望； 为ILR 服从pG(ILR)概率分布的期望 。 4.如权利要求2所述的方法， 其特征在于， 所述生成器网络由多个残差块和上采样块组 成； 所述判别器网络采用预训练过的ResNet50网络； 在ResNet50网络连接有两个并行的第 一全连接层和第二全连接层， 第一全连接层后接 sigmoid函数用于判断图像的真伪， 第二全 连接层后接softmax函数用于 输出图像的类别 信息。 5.如权利要求2所述的方法， 其特征在于， 根据生成器网络、 判别器网络、 高分辨率图像 和低分辨 率图像， 确定超分子网络损失函数， 包括： 根据高分辨 率图像、 低分辨 率图像和生成器网络， 确定均方像素损失； 根据高分辨率图像、 低分辨率图像和生成器网络， 确定感知损失； 所述感知损失用于最 小化超分图像与高分辨 率图像的特 征之间的差异； 根据低分辨 率图像、 判别器网络和生成器网络， 确定对抗损失； 根据生成器网络、 判别器网络、 高分辨 率图像和低分辨 率图像， 确定分类损失； 根据均方像素损失、 感知损失、 对抗损失和分类损失， 确定超分子网络损失函数。 6.如权利要求5所述的方法， 其特 征在于， 按照如下 方式， 确定均方像素损失； 权　利　要　求　书 1/3 页 2 CN 115527063 A 2其中， LMSE为均方像 素损失； IHR为高分辨率图像； ILR为低分辩图像； G为生成器网络； ω为 生成器参数； N 为样本的个数， i∈1 ‑N。 7.如权利要求5所述的方法， 其特 征在于， 按照如下 方式， 确定感知损失； 其中， LVGG为感知损失； IHR为高分辨率图像； ILR为低分辩图像； G为生成器网络； ω为生成 器参数； N为样本的个数， i∈1 ‑N； 表示低分辨率图像 重构后的超分图像； 为 预训练模型VG G。 8.如权利要求5所述的方法， 其特 征在于， 按照如下 方式， 确定对抗损失； 其中， LGAN为对抗损失； ILR为低分辩图像； G为生成器网络； ω为生成器参数； N为样本的 个数， i∈1 ‑N； 表示低分辨率图像 重构后的超分图像； 表示重构后的 图像为真实图像的概 率。 9.如权利要求5所述的方法， 其特 征在于， 按照如下 方式， 确定分类损失； 其中， LCLS为分类损失； IHR为高分辨率图像； ILR为低分辩图像； G为生成器网络； ω为生成 器参数； N为样本的个数， i∈1 ‑N； 表示低分辨率图像 重构后的超分图像； 表示重构后的图像为真实图像的概率为； C为类别数量； yi表示第i张图像的类 别信息。 10.如权利要求5所述的方法， 其特 征在于， 按照如下 方式， 确定超分子网络损失函数； LSR＝ λ1LMSE+λ2LVGG+λ3LGAN+λ4LCLS 其中， LSR为超分子网络损失函数； LMSE为均方像素损失； LVGG为感知损失； LGAN为对抗损 失； LCLS为分类损失λ1、 λ2、 λ3、 λ4表示超参。 11.如权利要求1所述的方法， 其特征在于， 根据高分辨率图像和超分图像， 训练蒸馏子 网络， 得到训练好的蒸馏子网络， 包括： 利用教师 ‑学生模型， 构建蒸馏子网络； 所述蒸馏子网络， 包括： 高分辨率网络和低分辨 率网络； 高分辨 率网络输入高分辨 率图像， 低分辨 率网络输入超分子网络确定的超分图像； 根据高分辨 率网络和低分辨 率网络， 确定蒸馏子网络损失函数； 根据蒸馏子网络损失函数训练蒸馏子网络， 利用高分辨率网络提取的特征作为监督信 息来引导低分辩网络学习， 得到训练好的蒸馏子网络 。 12.如权利要求11所述的方法， 其特征在于， 根据高分辨率网络和低分辨率网络， 确定 蒸馏子网络损失函数， 包括： 根据高分辨率网络和低分辨率网络， 确定KL散度； 所述KL散度用于计算高分辨网络和 低分辨率网络输出的特 征差异； 根据低分辨 率网络， 确定低分辨 率分类损失；权　利　要　求　书 2/3 页 3 CN 115527063 A 3