(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211042429.8 (22)申请日 2022.08.30 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 张海涛　任腾　 (74)专利代理 机构 北京金咨知识产权代理有限 公司 11612 专利代理师 薛海波 (51)Int.Cl. G06T 5/50(2006.01) G06T 7/194(2017.01) G06T 7/586(2017.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 合成图像和谐化模型训练方法、 和谐化方法 及装置 (57)摘要 本发明提供一种合成图像和谐化模型训练 方法、 和谐化方法及装置， 所述合成图像和谐化 模型训练方法在训练过程中采用掩码区分合成 图像前景和背景， 分别计算合 成图像前景和背景 的全局光照估计， 并将合 成图像前景的全局光照 估计、 合成图像背景的全局光照估计以及合成图 像的色彩风格特征进行融合并由解码器上采样 得到协调图像。 同时， 本发明从全局角度协调合 成图像的光照和色彩风格特征， 并基于生成对抗 网络进行训练， 利用对抗损失和相对损失构建联 合损失函数进行参数迭代， 提高了合成图像的和 谐化效果。 权利要求书2页 说明书12页 附图2页 CN 115456921 A 2022.12.09 CN 115456921 A 1.一种合成图像和谐化模型训练方法， 其特 征在于， 该 方法包括以下步骤： 获取训练样本集， 所述训练样本集包括多个样本， 每个样本包括一个合成图像和一个 真实图像， 所述合成图像采用掩码区分前景和背景， 所述合成 图像的前景和背景未经协调 化处理， 所述真实图像是对所述 合成图像的前 景进行协调化处 理后得到的； 获取生成器和判别器构成生成对抗网络， 所述生成器包括依次连接的编码器、 光照融 合模块和解码 器； 所述编 码器包括并联的风格特征编码 器和光照估计模块； 所述生成器中， 将单个样本中的合成图像输入所述风格特征编 码器采集该合成图像的色彩风格特征； 基于 所述掩码区分该合成图像的前景和背 景并输入所述光照估计模块， 分别计算该合成图像的 前景的第一全局光照估计以及该合成图像的背景的第二全局光照估计； 将所述色彩风格特 征、 所述第一全局光照估计和所述第二全局光照估计输入所述光照融合模块计算得到融合 特征， 将所述色彩风格特征和所述融合特征进行通道叠加后输入所述解码器以得到协调图 像； 其中， 所述第一全局 光照估计根据相 应合成图像前景在三个基色通道中的光照特征计 算得到的， 所述第二全局光照估计根据相应合成图像背景在三个基色通道中的光照特征计 算得到的； 所述判别器包括连续多层卷积层， 每个卷积层后均连接一个激活函数层和一个 批归一化层； 采用所述训练样本集对所述生成器进行训练， 根据每个样本 中的真实图像与对应的协 调图像计算相对损失， 将 每个样本中的真实图像与对应的协调图像输入所述判别器并计算 判别损失， 根据所述相对损失和所述判别损失计算联合损失， 并根据所述联合损失对所述 生成器进行参数迭代， 将训练得到的生成器作为 合成图像和谐化模型。 2.根据权利要求1所述的合成图像和 谐化模型训练方法， 其特征在于， 所述风格特征编 码器包括依次连接的三层卷积层、 四层残差模块以及两层卷积层。 3.根据权利要求1所述的合成图像和 谐化模型训练方法， 其特征在于， 所述光照估计模 块包括两个结构相同的第一分支和 第二分支， 所述第一分支和所述第二分支均由五层卷积 层构成， 所述第一分支用于提取所述第一全局 光照估计， 所述第二分支用于提取所述第二 全局光照估计。 4.根据权利要求3所述的合成图像和 谐化模型训练方法， 其特征在于， 基于所述掩码区 分该合成图像的前景和背 景并输入所述光照估计模块， 分别计算该合成图像的前景的第一 全局光照估计以及该合成图像的背景的第二全局光照估计， 包括： 采用所述掩码区别该合成图像的前 景和背景； 将该合成图像的前景输入所述第一分支， 将该前景按照设定尺寸提取为多个前景补 丁， 针对每个前景补丁提取四通道特征图， 前三个通道分别提取每个前景补丁在三个基色 通道中的三组光照特征， 并归一化处理得到相应前景补丁的照明颜色， 第四个通道用于计 算相应前景补丁的贡献权重； 将各前景补丁对应的照明颜色与贡献权重相乘后累加得到所 述第一全局光照估计； 将该合成图像的背景输入所述第二分支， 将该背景按照设定尺寸提取为多个背景补 丁， 针对每个背景补丁提取四通道特征图， 前三个通道分别提取每个背景补丁在三个基色 通道中的三组光照特征， 并归一化处理得到相应背景补丁的照明颜色， 第四个通道用于计 算相应背 景补丁的贡献权重； 将各背 景补丁对应的照明颜色与贡献权重相乘后累加得到所 述第二全局光照估计。权　利　要　求　书 1/2 页 2 CN 115456921 A 25.根据权利要求1所述的合成图像和 谐化模型训练方法， 其特征在于， 所述光照融合模 块由一个三层的多层感知机组成； 所述 解码器由三个上采样层和三个卷积层交替组成。 6.根据权利要求1所述的合成图像和 谐化模型训练方法， 其特征在于， 将所述色彩风格 特征、 所述第一全局光照估计和所述第二全局光照估计输入所述光照融合模块计算得到融 合特征， 计算式如下： 其中， 表示所述融合特征， 表示所述合成图像的前景， 表示所述合成图 像的背景， 表示所述第一全局 光照估计， 表示所述第二全局 光照估计， en 表示所述色彩风格特 征。 7.根据权利要求1所述的合成图像和 谐化模型训练方法， 其特征在于， 根据每个样本中 的真实图像与对应的协调图像 计算相对损失， 计算式为： 其中， 表示所述相对损失， 表示所述协调图像， I表示所述真实图像， || ·||1表示 求L1范数； 将每个样本 中的真实图像与对应的协调图像输入所述判别器并计算判别损失， 计算式 为： 其中， 表示所述判别损失， D( ·)表示所述判别器的处理流程， 表示所述生 成器基于所述合成图像 以及所述掩码M 计算得到的所述协调图像， 表示求平均值， I表 示所述真实图像； 根据所述相对损失和所述判别损失计算联合损失， 计算式为： 其中， 表示所述联合损失， 表示所述相对损失， 表示所述判别损失， λ为超 参数。 8.一种合成图像和谐化方法， 其特 征在于， 包括： 获取待和谐化处 理的合成图像， 所述 合成图像采用掩码区分前 景和背景； 将所述合成图像输入如权利要求1至7任意一项所述合成图像和谐化模型训练方法中 的合成图像和谐化模型， 并得到所述 合成图像的协调图像。 9.一种合成图像和 谐化装置， 包括处理器和存储器， 其特征在于， 所述存储器中存储有 计算机指令， 所述处理器用于执行所述存储器中存储的计算机指令， 当所述计算机指令被 处理器执行时该装置实现如权利要求1至8中任一项所述方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1至8中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115456921 A 3