(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210370085.7 (22)申请日 2022.04.08 (71)申请人 深圳万兴软件 有限公司 地址 518000 广东省深圳市南 山区粤海街 道软件产业基地5 栋D座1001 (72)发明人 张文雷　齐镗泉　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 巫苑明 (51)Int.Cl. G06T 11/00(2006.01) G06T 9/00(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 素描图像绘制方法、 装置、 计算机设备及可 读存储介质 (57)摘要 本发明公开了素描图像绘制方法、 装置、 计 算机设备及存储介质。 该方法包括获取人脸图像 及对应的真实素描图像； 将人脸图像输入特征金 字塔网络的编码器进行逐级的编码， 得到不同尺 度的卷积特征； 将最终输出的卷积特征输入特征 金字塔网络的解码器进行逐级的解码， 并在解码 过程中融合中间的卷积特征， 得到多张预测素描 图像； 对所有预测素描 图像进行融合， 得到最终 预测图像； 根据预置损失函数计算所述最终预测 图像和真实素描图像的 图像损失， 并根据图像损 失对特征金字塔网络的网络参数进行优化， 得到 最优特征金字塔网络； 将目标人脸图像输入最优 特征金字塔网络进行素描图像生成， 得到目标素 描图像。 该方法使生成的素描图像细节更加丰 富， 更加自然清晰。 权利要求书3页 说明书8页 附图4页 CN 114693829 A 2022.07.01 CN 114693829 A 1.一种素描图像绘制方法， 其特 征在于， 包括： 获取人脸图像及对应的真实素描图像； 将所述人脸图像输入预置特征金字塔网络的编码器进行逐级的编码， 得到不同尺度的 卷积特征； 将最终输出的卷积特征输入所述特征金字塔网络的解码器进行逐级的解码， 并在解码 过程中融合中间的卷积特 征， 得到多张预测素描图像； 对所有预测素描图像进行融合， 得到最终预测图像； 根据预置损失函数计算所述最终预测图像和真实素描图像的图像损失， 并根据 所述图 像损失对所述特 征金字塔网络的网络参数进行优化， 得到最优特 征金字塔网络； 将目标人脸图像输入所述最优特征金字塔网络进行素描图像生成， 得到目标素描图 像。 2.根据权利要求1所述的素描图像绘制方法， 其特征在于， 所述将所述人脸图像输入预 置特征金字塔网络的编码器进行 逐级的编码， 得到不同尺度的卷积特 征， 包括： 将所述人脸图像输入所述编码器中的第一卷积块进行卷积， 得到第一尺度的卷积特 征； 将所述第一尺度的卷积特征输入所述编码器中的第 二卷积块进行卷积， 得到第 二尺度 的卷积特 征； 将所述第二尺度的卷积特征输入所述编码器中的第 三卷积块进行卷积， 得到第 三尺度 的卷积特 征； 将所述第三尺度的卷积特征输入所述编码器中的第四卷积块进行卷积， 得到第四尺度 的卷积特 征； 将所述第四尺度的卷积特征输入所述编码器中的第五卷积块进行卷积， 得到第五尺度 的卷积特 征。 3.根据权利要求2所述的素描图像绘制方法， 其特征在于， 所述第一卷积块、 第二卷积 块、 第三卷积块、 第四卷积块和第五卷积块的结构相同； 所述将所述人脸图像输入所述编码器中的第 一卷积块进行卷积， 得到第 一尺度的卷积 特征， 包括： 将所述人脸图像输入所述第一卷积块中的卷积层进行 特征提取， 得到特 征图像； 通过所述第 一卷积块中的激活层和最大池化层依次对所述特征图像进行激活和池化， 得到所述第一尺度的卷积特 征。 4.根据权利要求2所述的素描图像绘制方法， 其特征在于， 所述将最终输出的卷积特征 输入所述特征金字塔网络的解码器进行逐级的解码， 并在解码过程中融合中间的卷积特 征， 得到多张预测素描图像， 包括： 将第五尺度的卷积特征输入第五尺度的反卷积块进行上采样处理， 得到第 一预测素描 图像； 对所述第一预测素描图像与第四尺度的卷积特 征进行特征融合， 得到第一融合特 征； 将所述第一融合特征输入第四尺度的反卷积块中进行上采样处理， 得到第 二预测素描 图像； 对所述第二预测素描图像与第三尺度的卷积特 征进行特征融合， 得到第二融合特 征；权　利　要　求　书 1/3 页 2 CN 114693829 A 2将所述第二融合特征输入第 三尺度的反卷积块中进行上采样处理， 得到第 三预测素描 图像； 对所述第三预测素描图像与第二尺度的卷积特 征进行特征融合， 得到第三融合特 征； 将所述第三融合特征输入第 二尺度的反卷积块中进行上采样处理， 得到第四预测素描 图像； 对所述第四预测素描图像与第一尺度的卷积特 征进行特征融合， 得到第四融合特 征； 将所述第四融合特征输入第 一尺度的反卷积块中进行上采样处理， 得到第五预测素描 图像。 5.根据权利要求4所述的素描图像绘制方法， 其特征在于， 所述第五尺度的反卷积块、 第四尺度的反卷积块、 第三尺度的反卷积块、 第二尺度的反卷积块和第一尺度的反卷积块 结构相同； 所述将第五尺度的卷积特征输入第五尺度的反卷积块进行上采样处理， 得到第 一预测 素描图像， 包括： 将所述第五尺度的卷积特征输入所述第五尺度的反卷积块的卷积层进行升维， 得到升 维特征； 通过所述第五尺度的反卷积块中的激活层和最大池化层依次对所述升维特征进行激 活和池化， 得到所述第一预测素描图像。 6.根据权利要求1所述的素描图像绘制方法， 其特征在于， 所述对所有预测素描图像进 行融合， 得到最终预测图像， 包括： 将所述第 一预测素描图像、 第 二预测素描图像、 第 三预测素描图像、 第四预测素描图像 和第五预测素描图像进行融合， 得到最终预测图像。 7.根据权利要求1所述的素描图像绘制方法， 其特征在于， 所述图像损失包括交叉熵损 失和结构相似性损失， 所述损失函数如下： LossAll＝α LossBCE+β LossSSIM， 式中， LossAll表示图像损失， LossBCE表示交叉熵损失， LossSSIM表示结构相似 性损失， α、 β 分别表示交叉熵损失和结构相似性损失的权 重。 8.一种素描图像绘制装置， 其特 征在于， 包括： 获取模块， 用于获取 人脸图像及对应的真实素描图像； 编码模块， 用于将所述人脸图像输入预置特征金字塔网络的编码器进行逐级的编码， 得到不同尺度的卷积特 征； 解码模块， 用于将最终输出的卷积特征输入所述特征金字塔网络的解码器进行逐级的 解码， 并在解码过程中 融合中间的卷积特 征， 得到多张预测素描图像； 融合模块， 用于对所有预测素描图像进行融合， 得到最终预测图像； 优化模块， 用于根据预置损失函数计算所述最终预测图像和真实素描图像的图像损 失， 并根据所述图像损失对所述特征金字塔网络的网络参数进行优化， 得到最优特征金字 塔网络； 生成模块， 用于将目标人脸图像输入所述最优特征金字塔网络进行素描图像生成， 得 到目标素描图像。 9.一种计算机设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上权　利　要　求　书 2/3 页 3 CN 114693829 A 3