(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210981080.8 (22)申请日 2022.08.16 (71)申请人 西安工业大 学 地址 710032 陕西省西安市未央区学府中 路2号 (72)发明人 徐玉　马龙　魏邹建　杜江斌　 赵佳尧　吴海波　杨静　彭扬帆　 (74)专利代理 机构 西安新思维专利商标事务所 有限公司 61 114 专利代理师 李凤鸣 (51)Int.Cl. G06T 5/00(2006.01) G06V 40/16(2022.01) G06V 10/771(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向人脸模糊图像复原的生成式学习 方法 (57)摘要 本发明属图像处理技术领域， 具体是一种面 向人脸模糊图像复原的生 成式学习方法。 该方法 包括如下步骤： 接收人脸模糊图像为特征提取网 络的输入步骤， 将其提取的层 级特征经过特征筛 选网络进行严格筛选步骤， 将 筛选后的层级特征 输入主干网络步骤； 其中特征提取步骤通过特征 提取网络进行特征提取； 特征筛选步骤通过特征 筛选网络的双层自注意力层， 筛选输入的层级特 征； 渐进式对抗生成步骤是将筛选后的层级特 征， 按照“镜像原则 ”对应输入生成 网络的生成器 中， 与生成器主干路输出信号相加， 渐进式生成 至目标图像。 本发明的优势在于对提取的层级特 征严格筛选后， 输入生成网络对应层级， 设计主 干网络全局监督模块， 实现网络对抗过程中的局 部和全局监 督。 权利要求书1页 说明书4页 附图3页 CN 115393208 A 2022.11.25 CN 115393208 A 1.一种面向人脸模糊图像复原的生成式学习方法， 其特 征在于： 包括以下步骤： 步骤一、 人脸模糊图像输入步骤： 接收人脸模糊图像， 输入到层级特征提取网络进行特 征提取， 并将其输入特 征提取网络， 步骤二、 层级特征筛选步骤： 将提取到的层级特征经过特征筛选网络进行严格筛选， 所 述特征筛选网络为双 层自注意力层， 筛 选输入的层级特 征； 步骤三、 将筛选后的层级特征输入主干网络， 按照 “镜像原则 ”对应输入生成网络的生 成器中， 与生成器主干路输出信号相加融合； 步骤四、 采用渐进式生成目标图像： 生成过程中， 主干网络 中生成器最后两层 分辨率块 以及鉴别器前两层分辨率块之前， 加入双层高效自注意力层作为主干网络全局 监督模块， 按照分辨 率大小渐进式地 生成目标分辨 率大小的图像。 2.根据权利要求1所述的一种面向人脸模糊图像复原的生成式学习方法， 其特征在于： 所述步骤一中， 所述卷积层的运算是对接 收到的输入数据先进行卷积运算， 然后将卷积运 算得到的结果进行层归一化计算， 最后输入至非线性激励层计算； 所述最大池化层是对接 收到的输入数据分成2*2的局部邻域进行判断， 选择 出最大值对图像进行池化。 3.根据权利要求1或2所述的面向人脸模糊图像复原 的生成式学习方法， 其特征在于： 所述步骤二中， 双层自注 意力层采用双层的高效注 意力结构， 通过学习Qu ery、 Key、 Value三 个与输入大小一致的矩阵， 利用Query与Key之间像素点间的联系 生成注意力矩阵热力图， 随后于Value矩阵采用点乘的方式进行 特征学习过程中的注意力分配。 4.根据权利要求3所述的面向人脸模糊图像复原的生成式学习方法， 其特征在于： 所述 步骤三中， 所述 “镜像原则 ”指的是特征提取网络结构与主干网络中生成器的结构相互对 称， 即相应层级得到的特征图大小一致。 特征提取网络输出 的层级特征与生成器主干路输 出信号相加为矩阵之间的点加。权　利　要　求　书 1/1 页 2 CN 115393208 A 2一种面向人脸模糊图像复原的生成式学习方 法 技术领域 [0001]本发明属图像 处理技术领域， 尤其涉及一种面向人脸模糊图像复原的生成式学习 方法。 背景技术 [0002]人脸图像有许多应用， 如人脸识别、 人脸跟踪、 人脸互换和人脸情感检测(Jin等 人， 2018)。 然而， 在现实世界中捕获的人脸通常由于成像过程而受到影响。 在传感器曝光过 程中， 由于相机晃动或无意中的移动， 所利用的相机/场景系统的相对位置的移动会给产生 的人脸图像带来模糊。 在这种情况下， 我们需要从模糊的图像中恢复清晰的图像。 在大多 数 情况下， 相对运动即模糊的内核， 是未知的。 而且只有少数图像， 如单帧被捕获。 这就带来了 盲目的图像使用单帧去模糊的问题。 [0003]在理想的数字成像系统中， 场景中的一个面元(通常被视为一个点)对应于图像屏 幕上的一个像素。 当成像系统应用于离焦或具有大像差或剧烈运动的图像时， 像素被扩展 成为图像平面上 的一个有限区域。 这会导致场景中相邻面元形成的图像重叠， 从而导致图 像退化。 在这一过程中， 图像中的每个像素通过在该像素位置上叠加对应面元及其相邻面 元的图像而得到。 如果成像系统是线性的且平移不变， 则退化的成像结果可以用以下等式 来描述： [0004]y＝x*k+n    (1) [0005]其中， y是退化图像； x对应的理想清晰图像； k是点扩散函数(PSF)， 定义为成像系 统对点源或点对象 的响应； n是噪声； 星号(*)表 示卷积运算； 加号(+)表 示相加运算。 上述等 式描述了退化图像的每 个像素可以被视为理想图像中对应 像素及其邻域像素的加权和。 [0006]单一图像盲法去模糊的目的是为了从单一的模糊输入中恢复清晰的图像。 在没有 任何事先或额外的信息， 这个 问题本质上是不好解决的， 因为存在着无限多的潜在图像和 模糊内核对， 可以同样好地解释一个给定的模糊图像(Jin等人， 2018)。 传 统的方法将模糊 过程表述为潜在清晰图像和模糊 核之间的卷积操作， 并基于优化方法解决这个问题。 基于 优化方法解决这个问题， 如最大后验(MAP)方法。 由于这个问题是不确 定的问题， 自然的图 像先验， 如稀疏性(Krishnan等， 2011)， L0梯度(Xu等， 2013)， 补丁先验(Sun等等， 2013年)、 流形(Ni等， 2 011年)、 低等级(Ren等， 2 016年)和暗道先验(Pan等， 2016年)等， 都被引入以约 束解空间。 已被引入以约束解决方案的空间， 产生了大量有效的去模糊方法。 最近， 由于深 度学习的巨大发展， 基于卷积神经网络(CNN)的方法已经成为主流技术， (Shen等， 2020)提 出一种深度的多尺度CNN， 利用全局语义先验和局部结构约束去模糊图像， 局部结构损失会 根据人脸各分量的大小自适应调整权重。 (Rajeev等， 2020)提出了一种独立学习特定类别 特征， 并结合特征对图像进行去模糊的机制UMSN， 通过一种新的计算置信度的方法来重建 去模糊图像中的每 个类， 以平衡 语义类在训练中的重要性。 [0007]目前基于深度学习的人脸去模糊方法已经取得相应的发展， 但仍存在问题。 从定 性的角度来看， 主流模型对于较大程度的模糊人像的复原情况效果不佳， 表现在 复原人脸说　明　书 1/4 页 3 CN 115393208 A 3