(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210375152.4 (22)申请日 2022.04.11 (71)申请人 网易传媒科技 （北京） 有限公司 地址 100193 北京市海淀区西北旺东路10 号院中关村软件园西区7号楼 A座5层 (72)发明人 况志强　许盛辉　潘照明　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 王辉 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 增强模型的训练方法、 图像处理方法、 装置、 设备及介质 (57)摘要 本公开涉及一种图像增强模型的训练方法 及装置、 图像处理方法及装置、 电子设备及计算 机可读介质， 属于图像处理技术领域。 该图像增 强模型的训练方法包括： 获取所述图像增强模型 的训练数据集， 并对所述训练数据集中的训练样 本图像进行图像退化处理， 得到输入样本图像； 将注意力集中模块加入图像语义分割网络中以 构建初始图像增强模型， 并将所述输入样本图像 输入所述初始 图像增强模型中得到对应的输出 样本图像； 将所述输出样本图像输入判别器得到 判别器损失， 并基于所述判别器损失对所述初始 图像增强模 型中的模型参数进行迭代更新， 获得 经训练的所述图像增强模型。 本公开通过基于退 化模型合 成的训练数据训练图像增强模型， 可以 有效提升图像增强质量。 权利要求书2页 说明书12页 附图5页 CN 114743245 A 2022.07.12 CN 114743245 A 1.一种图像增强模型的训练方法， 其特 征在于， 包括： 获取所述图像增强模型的训练数据集， 并对所述训练数据集中的训练样本图像进行图 像退化处 理， 得到所述图像增强模型的输入样本图像； 将注意力集中模块加入图像语义分割网络中以构建初始图像增强模型， 并将所述输入 样本图像输入所述初始图像增强模型中， 得到所述输入样本图像对应的输出样本图像； 将所述输出样本图像输入判别器得到对应的判别器损失， 并基于所述判别器损失对所 述初始图像增强模型中的模型参数进行迭代更新， 获得 经训练的所述图像增强模型。 2.根据权利要求1所述的图像增强模型的训练方法， 其特征在于， 所述对所述训练数据 集中的训练样本图像进行图像退化处 理， 得到所述图像增强模型的输入样本图像， 包括： 获取用于图像退化处 理的自训练退化方法集和随机退化方法集； 从所述自训练退化方法集中确定一目标自训练退化方法， 从所述随机退化方法集中确 定一目标随机退化方法； 通过所述目标自训练退化方法和所述目标随机退化方法对所述训练样本图像进行图 像退化处 理， 得到所述训练样本图像对应的输入样本图像。 3.根据权利要求1所述的图像增强模型的训练方法， 其特征在于， 所述将所述输入样本 图像输入所述初始图像增强模型中， 得到所述输入样本图像对应的输出样本图像， 包括： 通过所述图像语义分割网络中的多个特征提取层， 依次得到所述输入样本图像在每个 所述特征提取层对应的特 征图； 通过所述图像语义分割网络中每个所述特征提取层对应的注意力集中模块， 调 整所述 特征提取层对应的特征图中各个通道对应的通道注意力系数以及各个区域对应的区域注 意力系数； 基于各个所述特征提取层对应的所述通道注意力系数和所述区域注意力系数以及所 述特征图， 通过所述图像语义分割网络中的多个上采样层得到所述输入样本图像对应的输 出样本图像。 4.根据权利要求1所述的图像增强模型的训练方法， 其特征在于， 所述将所述输出样本 图像输入判别器得到对应的判别器损失， 并基于所述判别器损失对所述初始图像增强模型 中的模型参数进行迭代更新， 包括： 将所述输出样本图像输入判别器， 并通过所述判别器中的图像语义分割网络得到所述 判别器的第一输出 结果， 通过 所述判别器中的交叉网络得到所述判别器的第二输出 结果； 基于所述判别器的第一输出结果和所述判别器的第二输出结果对所述初始图像增强 模型中的模型参数进行迭代更新。 5.一种图像处 理方法， 其特 征在于， 包括： 获取待处理的原始图像， 并将所述原始图像输入预先训练的图像增强模型中， 其中， 所 述图像增强模型是通过如权利要求1 ‑4中任意一项所述的图像增强模型的训练方法得到 的； 通过所述图像增强模型对所述原始图像进行图像增强处理， 得到所述原始图像对应的 增强图像。 6.根据权利要求5所述的图像处理方法， 其特征在于， 所述通过所述图像增强模型对所 述原始图像进行图像增强处 理， 得到所述原 始图像对应的增强图像， 包括：权　利　要　求　书 1/2 页 2 CN 114743245 A 2通过所述图像语义分割网络中的多个特征提取层， 依次得到所述原始图像在每个所述 特征提取层对应的特 征图； 通过所述图像语义分割网络中每个所述特征提取层对应的注意力集中模块， 确定所述 特征提取层对应的特征图中各个通道对应的通道注意力系数以及各个区域对应的区域注 意力系数； 基于各个所述特征提取层对应的所述通道注意力系数和所述区域注意力系数以及所 述特征图， 通过所述图像语义分割网络中的多个上采样层得到所述图像增强模型的输出图 像； 根据所述图像增强模型的输出图像得到所述原 始图像对应的增强图像。 7.一种图像增强模型的训练装置， 其特 征在于， 包括： 图像退化处理模块， 用于获取所述图像增强模型的训练数据集， 并对所述训练数据集 中的训练样本图像进行图像退化处 理， 得到所述图像增强模型的输入样本图像； 增强模型构建模块， 用于将注意力集中模块加入图像语义分割网络 中以构建初始图像 增强模型， 并将所述输入样本图像输入所述初始图像增强模型中， 得到所述输入样本图像 对应的输出样本图像； 增强模型训练模块， 用于将所述输出样本 图像输入判别器得到对应的判别器损 失， 并 基于所述判别器损失对所述初始图像增强模型中的模型参数进行迭代更新， 获得经训练的 所述图像增强模型。 8.一种图像处 理装置， 其特 征在于， 包括： 原始图像输入模块， 用于获取待处理的原始图像， 并将所述原始图像输入预先训练的 图像增强模型中， 其中， 所述图像增强模型是通过如权利要求8中所述的图像增强模型的训 练装置得到的； 图像增强处理模块， 用于通过所述图像增强模型对所述原始图像进行图像增强处理， 得到所述原 始图像对应的增强图像。 9.一种电子设备， 其特 征在于， 包括： 处理器； 以及 存储器， 用于存储一个或多个程序， 当所述一个或多个程序被所述处理器执行时， 使得 所述处理器实现如权利要求 1至4中任一项 所述的图像增强模 型的训练方法， 或者权利要求 5至6中任一项所述的图像处 理方法。 10.一种计算机可读介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理器执 行时实现如权利要求 1至4中任一项 所述的图像增强模型的训练方法， 或者权利要求5至6中 任一项所述的图像处 理方法。权　利　要　求　书 2/2 页 3 CN 114743245 A 3