(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210608315.9 (22)申请日 2022.05.31 (71)申请人 山东财经大学 地址 250014 山东省济南市历下区二环东 路7366号 (72)发明人 迟静　代福芸　陈玉妍　沈天舒　 衣所超　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 于凤洋 (51)Int.Cl. G06T 5/00(2006.01) G06T 3/40(2006.01) G06V 40/16(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种人脸图像修复方法及系统 (57)摘要 本公开提供一种人脸图像修复方法及系统， 修复模型由人脸图像编码器、 人脸几何先验预测 网络和GAN先验解码器构成； 人脸图像编码器采 用多尺度融合思想， 保留输入人脸在不同尺度下 的脸部信息； 人脸几何先验预测网络获取人脸解 析图表示的人脸几何先验信息， 保证图像修复过 程中对输入人脸身份信息的保持； GAN先验解码 器引入GAN逆映射的思想， 将一个训练好的带有 丰富的人脸纹理先验知识的GAN嵌入到网络模型 中， 以重建高精度的人脸纹理信息； 层特征分布 损失函数引入对每一层特征空间里的特征向量 分布情况及相互关系的约束， 有效提升了整个模 型的修复精度。 权利要求书2页 说明书11页 附图5页 CN 114943656 A 2022.08.26 CN 114943656 A 1.一种人脸图像修复方法， 其特 征在于， 包括： 采集低质量人脸图像数据并预处 理； 获取一张待修复的低质量人脸图像， 将所述待修复的低质量人脸图像分别输入至人脸 几何先验预测网络和多尺度人脸图像编码器中， 获得 人脸解析图和人脸图片特 征； 将所述人脸解析图和所述人脸图片特征融合后， 输入至生成对抗网络先验解码器， 重 建生成最终的人脸图片。 2.如权利要求1所述的一种人脸图像修复方法， 其特征在于， 获取一张低质量的人脸图 像， 输入至多尺度人脸图像编码器中， 所述多尺度人脸图像编码器利用双三次插值方法将 人脸图像分别放大4倍、 6倍以及8倍， 得到原尺度图像、 4倍尺度图像、 6倍尺度图像和8倍尺 度图像， 将所述四种不同尺度的人脸图像分别经过编码模块得到不同尺度下 的人脸特征， 然后将四种人脸特 征进行融合得到人脸图片特 征。 3.如权利要求2所述的一种人脸图像修复方法， 其特征在于， 所述编码模块由首尾对称 的卷积层、 池化层、 正则层和12个残差块连接组成。 4.如权利要求1所述的一种人脸图像修复方法， 其特征在于， 所述人脸几何先验预测网 络由卷积层、 池化层、 正则层、 3个残差块以及一个沙漏结构连接组成。 5.如权利要求1所述的一种人脸图像修复方法， 其特征在于， 所述的生成对抗网络先验 解码器采用StyleGAN结构， 解码时， 将人脸几何先验预测网络获得的人脸解析图与多尺度 人脸图像编码器获得 的人脸图像特征融合成特征向量输入至所述生成对抗网络先验解码 器中， 先将其通过映射网络映射为一个位于更加 解耦的空间中的特征向量， 再将特征向量 输入至生成网络GAN， 并结合生成网络GAN中已训练好的人脸纹理先验信息， 重建生成一张 高质量人脸图片。 6.如权利要求1所述的一种人脸图像修复方法， 其特征在于， 损 失函数包括四项约束， 分别为L2损失函数、 感知损失函数、 对抗损失函数以及 层特征分布损失函数； 所述L2损失函数， 给定训练集 N是用于训练的人脸图片的数量， 是 输入的低质量人脸图片, 分别是对应的真实的高质量人脸图片和真实的人脸几何 信息， L2损失函数用于计算修复生成的人脸几何信息与真实的人脸几何信息的误差， 以及 修复生成的人脸图像与真实人脸图像的像素级误差， 表示如下： 其中， 表示由第k张输入人脸 图片修复生成的人脸 图片， p(k)表示由第k张输入人脸 图片预测生成的人脸几何信息 。 7.如权利要求6所述的一种人脸图像修复方法， 其特征在于， 所述感知损失函数用于计 算修复生成的人脸图片和真实人脸图片之间的感知误差， 表示如下： LP＝| υ(Ig)‑υ(Io)||2 其中， v(·)表示用VGG进行 的特征提取操作， Io表示由模型修复生成的人脸图片， Ig表 示与输入人脸图片对应的真实的高质量人脸图片。 8.如权利要求6所述的一种人脸图像修复方法， 其特征在于， 用于平衡编码器和先验解权　利　要　求　书 1/2 页 2 CN 114943656 A 2码器的对抗损失函数定义如下： Ladv＝E[logD(Ig,Ii)]+E[log(1‑D(Ψ(Ω(Ii),Θ(Ii)))] 其中， Ii， Ig分别表示输入的低质量人脸图片和与其对应的真实的高质量人脸图片， Ψ (Ω(Ii),Θ(Ii))表示由输入人脸图片修复生成的高质量 人脸图片； 判别器区分真实高质量 人脸图片和修复生成的高质量人脸图片。 9.如权利要求6所述的一种人脸图像修复方法， 其特征在于， 提出新的层特征分布损失 函数， 层特 征分布损失函数定义如下： N表示用于训练的人脸图片的数量， M1和M2分别表示多尺度人脸图像编码器和人脸几何 先验预测网络的卷积层数； 和 分别表示将第k张修复的人脸图片 和其对应的真实 人脸图片 经过第l层卷积层后得到的各个通道的特征向量依 次作为行向量所构成的矩 阵， 称为特 征图； D(U)表示对特 征图U计算 其距离矩阵， 矩阵中的每一项元 素定义如下: Di,j(U)＝||ui‑uj||2,i,j＝1,2,. ..,T ui和uj为特征图U中的行向量， T表示 通道数； H( ·)表示对矩阵进行直方图计算； C(U)表示对特 征图U计算 其协方差矩阵， 矩阵中的每一项元 素定义如下: Ci,j(U)＝σ(ui,uj),i,j＝1,2,. ..,T σ(ui,uj)表示对特 征图U中任意两个行分量ui和uj， 计算其协方差 。 T表示通道数。 10.一种人脸图像修复系统， 其特 征在于， 包括： 图像采集模块， 用于采集需要 进行修复的低质量人脸图像数据并预处 理； 图像特征提取模块， 用于将低质量人脸图像数据分别输入至人脸几何先验预测网络和 多尺度人脸图像编码器中， 获得 人脸解析图和人脸图片特 征； 人脸图像重建模块， 用于将所述人脸解析图和所述人脸图片特征融合后， 输入至生成 对抗网络先验解码器， 重建生成最终的人脸图片； 训练模块， 用于依次训练判别器和生成器， 直到训练结束。权　利　要　求　书 2/2 页 3 CN 114943656 A 3