(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111659846.2 (22)申请日 2021.12.3 0 (71)申请人 北京字跳网络技 术有限公司 地址 100190 北京市海淀区紫金 数码园4号 楼2层0207 (72)发明人 宋庆宇　 (74)专利代理 机构 北京远智汇知识产权代理有 限公司 1 1659 代理人 刘欣 (51)Int.Cl. G06T 3/00(2006.01) G06K 9/62(2022.01) (54)发明名称 图像处理方法、 装置、 电子设备和存 储介质 (57)摘要 本公开实施例提供了一种图像处理方法、 装 置、 电子设备和存储介质。 该方法包括： 响应于特 效触发操作， 采集包括目标对象的待处理图像； 基于目标瞳孔特征调整模型对待处理图像， 以及 与待处理图像相对应的至少一个目标条件标签 进行处理， 得到目标特效图像； 将目标特效图像 展示在目标显示界面。 本公开实施例提供的技术 方案， 实现了基于瞳孔属性条件 标签对瞳孔进行 精细调整， 为眼部添加特效， 使生成的特效图与 条件标签相一致， 提高了眼部特效添加的准确 性， 进而将特效图展示在显示界面上时， 使展示 的图像更为逼真， 达到满足用户体验需求的技术 效果。 权利要求书4页 说明书25页 附图7页 CN 114331824 A 2022.04.12 CN 114331824 A 1.一种图像处 理方法， 其特 征在于， 包括： 响应于特效触发操作， 采集包括目标对象的待处 理图像； 基于目标瞳孔特征调整模型对所述待处理图像， 以及与 所述待处理图像相对应的至少 一个目标条件标签进 行处理， 得到目标特效图像； 其中， 所述目标特效图中目标对象的瞳孔 特征与所述至少一个目标 条件标签相匹配； 将所述目标 特效图像展示在目标显示界面上。 2.根据权利要求1所述的方法， 其特 征在于， 所述特效触发操作包括如下至少一种： 检测到视野区域中包括目标对象； 检测到所述目标对象触发目标 特效动作； 检测到触发特效生成控 件。 3.根据权利要求1所述的方法， 其特征在于， 所述基于目标瞳孔特征调整模型对所述待 处理图像， 以及与所述待处理图像相对应的至少一个目标条件标签进行处理， 得到目标特 效图像， 包括： 确定与所述待处 理图像相对应的至少一个目标 条件标签； 将所述至少一个目标条件标签和所述待处理图像作为所述目标瞳孔调整模型的输入， 得到所述目标 特效图。 4.根据权利要求3所述的方法， 其特征在于， 所述确定与 所述待处理图像相对应的至少 一个目标 条件标签， 包括： 获取预先设置的至少一个目标 条件标签； 或， 根据所述待处理图像中目标对象的姿态信 息， 确定与 所述目标对象相对应的至少一个 目标条件标签。 5.根据权利要求1 ‑4中任一所述的方法， 其特征在于， 所述至少一个目标条件标签包括 与瞳孔的目标显示尺寸相对应的目标尺寸标签， 和/或瞳孔在眼睛中的目标相对显示位置 所对应的目标位置标签。 6.根据权利要求5所述的方法， 其特 征在于， 还 包括： 若所述目标瞳孔特征调整模型是在位置标签固定， 尺寸标签变换的条件下训练得到 的， 则所述至少一个目标 条件标签包括目标尺寸标签； 若所述目标瞳孔特征调整模型是在尺寸标签固定， 位置标签变换的条件下训练得到 的， 则所述至少一个目标 条件标签中包括目标位置标签； 若所述目标瞳孔特征调整模型是在尺寸标签和位置标签变换的条件下训练得到的， 则 所述至少一个目标 条件标签中包括目标位置标签和目标尺寸标签。 7.根据权利要求6所述的方法， 其特征在于， 所述基于目标瞳孔特征调整模型对所述待 处理图像， 以及与所述待处理图像相对应的至少一个目标条件标签进行处理， 得到目标特 效图像， 包括： 若所述至少一个目标条件标签包括目标尺寸标签和目标位置标签， 则基于所述目标瞳 孔特征调整模型， 将所述待处理图像中目标对象的瞳孔调整至与所述目标尺寸标签和目标 位置标签相匹配， 得到所述目标 特效图； 若所述至少一个目标条件标签包括目标尺寸标签， 则基于所述目标瞳孔特征调整模 型， 将所述待处理图像中目标对象的瞳孔调整至与所述目标尺寸标签和训练得到所述目标权　利　要　求　书 1/4 页 2 CN 114331824 A 2瞳孔特征调整模型时所使用的位置标签相匹配； 若所述至少一个目标条件标签包括目标位置标签， 则基于所述目标瞳孔特征调整模 型， 将所述待处理图像中目标对象的瞳孔调整至与所述目标位置标签和训练得到所述目标 瞳孔特征调整模型时所使用的尺寸标签相匹配。 8.根据权利要求1所述的方法， 其特 征在于， 还 包括： 训练得到所述目标瞳孔特 征调整模型； 所述训练得到所述目标瞳孔特 征调整模型， 包括： 获取第一训练样本集； 其中， 所述第 一训练样本集中包括多个第一训练样本， 所述第一 训练样本中包括第一原始输入图像和 第一理论图像， 所述第一理论图像是基于预先训练得 到的目标瞳孔 位置调整模型和目标瞳孔尺寸调整模型生成的； 针对各第一训练样本， 将当前第 一训练样本的第 一原始图像作为待训练瞳孔特征调整 模型的输入， 将所述第一理论图像作为所述待训练瞳孔特征调整模型 的输出， 调整所述待 训练瞳孔特 征调整模型的模型参数； 将所述待训练瞳孔特征调 整模型的损失函数收敛作为训练目标， 得到所述目标瞳孔特 征调整模型。 9.根据权利要求8所述的方法， 其特征在于， 确定第 一训练样本集中的各第 一训练样本 中的第一理论图像， 包括： 获取第一原 始输入图像； 将所述第一原始输入图像和待显示瞳孔位置标签， 输入至所述目标瞳孔位置调 整模型 中， 得到待 使用图像； 将待使用图像和待显示瞳孔尺寸标签， 输入至所述目标瞳孔尺寸调整模型中， 得到所 述第一理论图像。 10.根据权利要求9所述的方法， 其特 征在于， 还 包括： 若所述待显示瞳孔尺寸标签为固定值， 则各第一理论图像为瞳孔尺寸相同， 且瞳孔位 置存在差异的图像； 若所述待显示瞳孔位置标签为固定值， 则各第一理论图像为瞳孔位置相同， 瞳孔尺寸 存在差异的图像； 若所述待显示瞳孔尺寸标签变化， 所述待显示瞳孔位置标签变化， 则各第一理论图像 为瞳孔位置和瞳孔尺寸存在差异的图像。 11.根据权利要求8所述的方法， 其特 征在于， 还 包括： 训练得到所述目标瞳孔 位置调整模型； 所述训练得到所述目标瞳孔 位置调整模型， 包括： 获取第二训练样本集； 其中， 所述第 二训练样本集中包括多个第二训练样本， 所述第二 训练样本中包括瞳孔位置不同的第二输入图像、 第二理论输出图像以及与所述第二理论输 出图像相对应的瞳孔位置标签， 所述第二输入图像和所述第二理论输出图像是基于预先训 练得到的目标瞳孔重建模型确定的； 所述 目标瞳孔重建模型， 用于重建出与标记瞳孔相一 致的图像； 针对各第二训练样本， 将当前训练样本的第 二输入图像和瞳孔位置标签作为待训练瞳 孔位置调整模型 的输入， 将第二理论输出图像作为所述待训练瞳孔位置调整模型 的输出，权　利　要　求　书 2/4 页 3 CN 114331824 A 3