(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210433240.5 (22)申请日 2022.04.24 (71)申请人 深圳数联天下智能科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道高新区社区高新南七道20号深圳国 家工程实验室大楼B16 01 (72)发明人 陈仿雄　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 专利代理师 孟丽平 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01)G06Q 30/06(2012.01) (54)发明名称 训练试衣模 型的方法、 生 成试衣图像的方法 及相关装置 (57)摘要 本申请实施例涉及图像处理技术领域， 公开 了一种训练试衣模型的方法、 生成试衣图像的方 法及相关装置， 试衣网络包括融合解析网络和生 成网络， 融合解析网络对N个衣服图像和反映模 特身体躯干像素区域的第二解析图进行编码和 解码， 得到融合解析图。 生成网络中的第一编码 器对N个变形后的衣服图像进行编码得到N个衣 服编码， 生成 网络中级联的第二编码器、 N个融合 模块、 解码器依次对身体躯干图和融合解析图进 行编码、 融合、 解码直至输 出预测试衣图像。 相同 层次的解析特征图约束相同层次的试衣特征图 的像素类别。 随着试衣网络的不断迭代训练， 融 合解析图按真实混搭试穿效果进行分割， 生成的 预测试衣图像不断地靠近真实试衣图像， 得到准 确的试衣 模型。 权利要求书3页 说明书17页 附图6页 CN 114913388 A 2022.08.16 CN 114913388 A 1.一种训练试衣模型的方法， 其特征在于， 试衣 网络包括融合解析网络和生成网络， 其 中， 生成网络包括第一编 码器和级联的第二编码 器、 N个融合模块、 解码 器， 所述第一编码 器 与所述N个融合模块连接； 所述方法包括： 获取训练集， 所述训练集包括多个训练数据， 所述训练数据包括真实试衣图像和N个衣 服图像， 所述真实试衣图像包括模特穿有所述 N个衣服图像中对应衣服的图像， 其中， N≥2； 对所述真实试衣图像进行人体解析， 得到第一解析图， 从所述第一解析图中分离出第 二解析图， 并根据所述第二解析图从所述真实试衣图像中提取出身体躯干图， 其中， 所述第 二解析图反映所述模特身体躯 干的像素区域； 将所述N个衣服图像和所述第 二解析图输入融合解析网络， 得到 融合解析图， 所述融合 解析图包括所述 N个衣服图像中对应衣服的像素区域和所述模特身体躯 干的像素区域； 将所述身体躯干图、 所述融合解析图和N个变形后的衣服图像输入生成网络， 得到预测 试衣图像， 其中， 所述N个变形后的衣服图像是通过对所述N个衣服图像中的衣服按所述真 实试衣图像中模特人体结构进行变形得到的， 所述N个变形后的衣服图像输入所述第一编 码器得到N个衣服编码， 所述N个衣服编 码分别对应输入所述N个融合模块， 所述身体躯干图 和所述融合解析图输入生成网络得到所述预测试衣图像， 在融合解码过程中， 相同层次的 解析特征图约束相同层次的试衣特 征图的像素类别； 采用损失函数对所述试衣网络进行迭代训练， 直到所述试衣网络收敛， 得到所述试衣 模型， 所述损失函数用于表征所述训练集中各所述真实试衣图像和各所述预测试衣图像之 间的差异。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述第 二解析图从所述真实试衣 图像中提取 出身体躯 干图， 包括： 对所述第二解析图进行二值化处理， 得到二值化图像， 在所述二值化图像中身体躯干 区域对应的像素为1， 其它区域对应的像素为0； 将所述真实试衣图像中的像素和所述二值化图像中的像素对应位置相乘， 得到所述身 体躯干图。 3.根据权利要求1所述的方法， 其特征在于， 所述融合模块包括第一卷积层、 第二卷积 层和融合层； 所述融合模块采用以下 方式对输入特 征图和输入 衣服编码进行融合处 理： 通过所述第 一卷积层和所述第 二卷积层 分别对所述输入特征图进行特征提取， 得到第 一中间特 征图和第二中间特 征图； 通过所述第 一卷积层和所述第 二卷积层 分别对所述输入衣服编码进行特征提取， 得到 第一中间编码和第二中间编码； 通过所述融合层对所述输入特征图、 所述第一中间特征图、 所述第二中间特征图和所 述第一中间编码、 所述第二中间编码进行融合处 理。 4.根据权利要求3所述的方法， 其特征在于， 所述通过所述融合层对所述输入特征图、 所述第一中间特征图、 所述第二中间特征图和所述第一中间编码、 所述第二中间编码进行 融合处理， 包括： 以所述第一中间特征图为均值、 所述第二中间特征图为方差， 对所述输入特征图进行权　利　要　求　书 1/3 页 2 CN 114913388 A 2归一化处理； 将归一化处理得到的结果与所述第一中间编码、 所述第二中间编码进行融合处 理。 5.根据权利要求 4所述的方法， 其特 征在于， 所述融合层采用以下公式进行融合处 理： 其中， x为所述输入特征图， μ(x)为所述第一中间特征图， σ(x)为所述第二中间特征图， y为所述输入衣服编码， μ(y)为所述第一中间编码， σ(y)为所述第二中间编码， IN(x,y)为所 述融合层输出的特 征图。 6.根据权利要求1所述的方法， 其特征在于， 所述损失函数包括所述真实试衣图像和所 述预测试衣图像之间的对抗损失、 感知损失和衣服像素损失， 其中， 所述衣服像素损失反映 所述N个衣服图像中的衣服分别 在所述真实试衣图像中的像素和在所述预测试衣图像中的 像素之间的差异。 7.根据权利要求6所述的方法， 其特 征在于， 所述损失函数包括： L＝LcGAN+λ1Lpercept+λ2LL1； 其中， LcGAN＝Ε[logD(T)]+Ε[1 ‑logD(Y)] 其中， LcGAN为所述对抗损失， Lpercept为所述感知损失， LL1为所述衣服像素损失， λ1和 λ2为 超参数， T为所述真实试衣图像， Y为所述预测试衣图像， D为判别器， Fi(T)是由所述真实试 衣图像提取得到的第i个特征图， Fi(Y)是由所述预测试衣图像提取得到的第i个特征图， Ri 是Fi(T)或Fi(Y)中的元素数量， V为 所述Fi(T)的个数或所述Fi(Y)的个数， fj(T)是第j件衣服 在所述真实试衣图像中的像素， fj(F)是所述第j件 衣服在所述预测试衣图像中的像素。 8.一种生成试衣图像的方法， 其特 征在于， 包括： 获取用户图像和N个待试衣服图像； 对所述用户图像进行人体解析， 得到所述用户的第一解析图， 从所述用户的第一解析 图中分离出所述用户的第二解析图， 并根据所述用户的第二解析图从所述用户图像中提取 出所述用户的身体躯干图， 其中， 所述用户的第二解析图反 映所述用户身体躯干的像素区 域； 将N个变形后的待试衣服图像、 所述用户的身体躯干图和所述N个待试衣服图像输入试 衣模型， 生成所述试衣图像， 其中， 所述试衣模型采用如权利要求1 ‑7中任意一项训练试衣 模型的方法训练得到， 所述N个变形后的待 试衣服图像是通过对所述N个待试衣服图像中的 衣服按所述用户图像中用户人体结构进行变形 得到。 9.一种电子设备， 其特 征在于， 包括： 至少一个处 理器， 以及 与所述至少一个处 理器通信连接的存 储器， 其中，权　利　要　求　书 2/3 页 3 CN 114913388 A 3