(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111653519.6 (22)申请日 2021.12.3 0 (71)申请人 北京大甜绵白糖科技有限公司 地址 100080 北京市海淀区海淀北二 街10 号05层0505 (72)发明人 吴文岩　郑程耀　甘世康　唐斯伟　 张丽　钱晨　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 代理人 靳玫 (51)Int.Cl. G06T 3/00(2006.01) G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/26(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 妆容迁移及妆容迁移网络的训练方法和装 置 (57)摘要 本公开实施例提供一种妆容迁移及妆容迁 移网络的训练方法和装置， 所述妆容迁移方法包 括： 获取待迁移目标图像和待迁移局部图像， 所 述待迁移目标图像包括目标对象， 所述待迁移局 部图像上包括所述目标对象 的局部区域； 通过目 标妆容迁移网络分别将预设妆容风格迁移到所 述待迁移目标图像和所述待迁移局部图像上， 得 到迁移目标图像和迁移局部图像； 对 所述迁移目 标图像和所述迁移局部图像进行融合， 得到所述 目标对象的妆容迁移结果。 权利要求书3页 说明书17页 附图7页 CN 114283052 A 2022.04.05 CN 114283052 A 1.一种妆容迁移方法， 其特 征在于， 所述方法包括： 获取待迁移目标图像和待迁移局部 图像， 所述待迁移目标图像包括目标对象， 所述待 迁移局部图像上包括所述目标对象的局部区域； 通过目标妆容迁移网络分别将预设妆容风格迁移到所述待迁移目标图像和所述待迁 移局部图像上， 得到 迁移目标图像和迁移局部图像； 对所述迁移目标图像和所述迁移局部图像进行融合， 得到所述目标对象的妆容迁移结 果。 2.根据权利要求1所述的方法， 其特 征在于， 获取待迁移局部图像， 包括： 对所述目标对象的原始图像进行目标检测， 确定所述原始图像中目标对象的关键点位 置； 基于所述目标对象的关键点 位置从所述原 始图像中裁 剪出所述待迁移局部图像。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述目标对象的关键点位置从所 述原始图像中裁 剪出所述待迁移局部图像， 包括： 基于所述目标对象的关键点位置， 从所述原始图像中裁剪出第一预设尺寸的图像区 域， 所述第一预设尺寸小于所述目标对象 的尺寸， 且大于所述局部区域的尺寸， 所述局部区 域位于所述第一预设尺寸的图像区域中的第一预设位置处； 将所述第一预设尺寸的图像区域确定为所述待迁移局部图像。 4.根据权利要求1至3任意一项所述的方法， 其特征在于， 所述待迁移目标图像为实时 采集的包括所述目标对象的视频帧， 所述待迁移局部图像为从所述视频帧中裁剪出的包括 所述局部区域的局部 视频帧。 5.根据权利要求1至4任意一项所述的方法， 其特征在于， 所述目标妆容迁移网络基于 待迁移样本图像、 待迁移局部样本图像、 参考样本图像以及参考局部样本图像共同训练得 到； 其中， 所述参考样本 图像包括具有所述预设妆容风格的目标对象， 所述待迁移样本 图 像包括具有除所述预设妆容 风格以外的妆容 风格的目标对象； 所述待迁移局部样本图像中包括所述待迁移样本图像中的目标对象的局部区域， 所述 参考局部样本图像中包括所述参考样本图像中的目标对象的局部区域， 且 所述待迁移局部 样本图像中包括的局部区域与参 考局部样本图像中包括的局部区域相同。 6.根据权利要求5所述的方法， 其特征在于， 所述参考样本 图像从第一图像集中选取， 所述第一图像集中包括多张图像， 所述第一图像集中的每张图像包括具有 所述预设妆容风 格的相同的目标对象； 所述待迁移样本 图像从第二图像集中选取， 所述第二图像集中包括多张图像， 所述第 二图像集中的每张图像包括具有除所述预设妆容风格以外的妆容风格的目标对象， 且所述 第二图像集中的至少两张图像中包括的目标对象不同。 7.根据权利要求5或6所述的方法， 其特征在于， 所述参考样本 图像包括样本视频中的 多个视频帧， 所述样本视频中的多个视频帧中的每个视频帧均包括具有 所述预设妆容风格 的目标对象。 8.根据权利要求1至7任意一项所述的方法， 其特征在于， 所述目标妆容迁移网络包括 第一子网络和第二子网络；权　利　要　求　书 1/3 页 2 CN 114283052 A 2所述第一子网络用于将预设妆容 风格迁移到所述待迁移目标图像上； 所述第二子网络用于将预设妆容 风格迁移到所述待迁移局部图像上。 9.根据权利要求1至8任意一项所述的方法， 其特征在于， 所述对所述迁移目标图像和 所述迁移局部图像进行融合， 得到所述目标对象的妆容迁移结果， 包括： 对所述迁移目标图像进行语义分割， 得到所述迁移目标图像中所述局部区域的位置； 基于所述迁移目标图像中所述局部区域的位置将所述迁移局部图像融合到所述迁移 目标图像中， 得到所述目标对象的妆容迁移结果。 10.根据权利要求1至9任意一项所述的方法， 其特征在于， 在对所述迁移目标图像和所 述迁移局部图像进行融合之后， 所述方法还 包括： 获取所述目标对象迁移后的颜色； 基于所述目标对象迁移后的颜色对所述目标对象上未进行妆容迁移的区域的颜色进 行调整。 11.一种妆容迁移网络的训练方法， 其特 征在于， 所述方法包括： 获取待迁移样本 图像和待迁移局部样本 图像， 所述待迁移样本 图像中包括目标对象， 所述待迁移局部样本图像中包括目标对象上的局部区域； 通过原始妆容迁移网络将参考样本图像中目标对象的妆容风格迁移到所述待迁移样 本图像上， 得到 迁移样本图像； 通过原始妆容迁移网络将参考局部样本图像中目标对象的妆容风格迁移到所述待迁 移局部样本图像上， 得到迁移局部样本图像， 所述参考局部样本图像包括所述参考样本图 像中目标对象的局部区域， 且所述待迁移局部样本图像中包括的局部区域与参考局部样本 图像中包括的局部区域相同； 基于所述迁移样本图像和所述迁移局部样本图像对所述原始妆容迁移网络进行训练， 得到目标妆容迁移网络 。 12.根据权利要求11所述的方法， 其特征在于， 所述基于所述迁移样本图像和所述迁移 局部样本图像对所述原 始妆容迁移网络进行训练， 包括： 基于所述迁移样本图像建立第一损失函数； 基于所述迁移局部样本图像建立第二损失函数； 基于所述第 一损失函数和所述第 二损失函数对原始妆容迁移网络进行训练， 得到所述 目标妆容迁移网络 。 13.根据权利要求12所述的方法， 其特征在于， 所述目标妆容迁移网络包括第 一子网络 和第二子网络， 所述第一子网络用于将预设妆容风格迁移到所述待迁移目标图像上， 所述 第二子网络用于将预设妆容风格迁移到所述待迁移局部图像上； 所述基于所述第一损失函 数和所述第二损失函数对原 始妆容迁移网络进行训练， 包括： 基于所述第一损失函数对原 始第一子网络进行训练， 得到所述第一子网络； 基于所述第二损失函数对原 始第二子网络进行训练， 得到所述第二子网络 。 14.根据权利要求13所述的方法， 其特征在于， 用于训练一个子网络的损失函数包括以 下至少一 者： 用于表征 所述子网络的输出图像的真实度损失的损失函数； 用于表征所述子网络的输出图像与输入所述子网络的待迁移图像之间的属性相似度权　利　要　求　书 2/3 页 3 CN 114283052 A 3