(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210528955.9 (22)申请日 2022.05.16 (71)申请人 西南石油大 学 地址 610000 四川省成 都市新都区新都大 道8号 (72)发明人 程吉祥　吴丹　李志丹　张伊洛　 魏添　 (74)专利代理 机构 深圳峰诚志合知识产权代理 有限公司 4 4525 专利代理师 胡石开 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/13(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06K 9/62(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于结构信息嵌入和注意力机制的数 字图像修复方法 (57)摘要 本发明公开了一种基于结构信息嵌入和注 意力机制的数字图像修复方法， 包括如下步骤： 首先对公开数据集图像进行尺 寸处理、 数据增强 并采用RTV方法提取结构信息； 而后构建基于结 构信息嵌入和注意力机制的图像修复网络， 利用 结构信息及图像特征共享的生成器同时进行结 构修复及嵌入指导图像特征重构； 利用带光谱归 一化的铰链形式结构信息判别器对修复的平滑 图像的真伪进行判别； 采用联合损失约束模型优 化方向； 利用训练好的模型权重参数及构建的修 复网络可进行对破损图像完成修复任务及效果 评估； 本发明可以更好地表征结构信息， 使得修 复后的图片具有更合理的结构及更真实的视觉 效果， 主客观测试评价结果和对比实验都证明了 本发明方法的有效性。 权利要求书4页 说明书9页 附图3页 CN 114820381 A 2022.07.29 CN 114820381 A 1.一种基于结构信息嵌入和注意力机制的数字图像修复方法， 其特征在于， 包括以下 步骤： S1、 获取包括图像数据集和掩码数据集的实验数据集并对图像数据集中大于目标尺寸 的图像进行纵向平均分割使得预处理后的图像具有相同的尺寸， 其中， 图像数据集和掩码 数据集均分别包括训练集和 测试集； S2、 对预处理后的图像采用RTV平滑方法提取边缘保留的平滑图像作为结构信息， RTV 平滑方法的目标函数为： 其中， 式中， S为输出结构图， p为图像像素点， I为输入图像， λp为权重， Dx(p)、 Dy(p)分别为输 出结构图在x方向、 y方向的像素级窗口总变差度量， Lx(p)、 Ly(p)分别为输出结构图在x方 向、 y方向的窗口固有变化量， ε为常数， q为以p为中心的矩形区域R(p)内的一个像素点， gp,q 为根据空间关系构建的权重函数， xp、 xq分别为像素p、 q在x方向的分量， yp、 yq分别为像素p、 q在y方向的分量， σ 为控制窗口 的空间比例参数； S3、 构建结构信息嵌入和注意力机制的数字图像修复网络， 所述数字图像修复网络包 括结构信息和图像共享的生成器、 结构信息判别器； 结构信息和图像共享的生成器用于同 时实现结构信息的修复和掩码更新， 并利用已修复的结构信息、 掩码信息指导图像特征 的 生成； 所述结构信息判别器用于对修复的平 滑图像的真伪进行判别； S4、 将步骤S1中掩码数据集中训练集的图像、 预处理后的图像数据集中训练集的图像 和S2提取的边缘保留的平滑图像输入步骤S 3构建的数字图像修复网络训练； 设置优化策略 和相关超参数训练所述网络并采用联合损失约束网络优化方向； 通过对网络进行循环迭代 优化使损失函数不断减小趋 于收敛， 并保存网络训练权 重参数； S5、 使用步骤S3构 建的数字图像修复网络的生成器和步骤S4获得的网络训练权重参数 构建基于结构信息嵌入和注意力机制的数字图像修复模型， 并以该图像修复模型对图像数 据集中的测试集和掩码数据集中的测试集组成的破损图像进 行修复补 全， 获得修复后的图 像和补全的平 滑图像。 2.根据权利要求1所述的一种基于结构信息嵌入和注意力机制的数字图像修复方法， 其特征在于， 所述结构信息判别器为SN ‑PatchGAN， 从前至后设置5个带光谱正则化层和激活函数层权　利　要　求　书 1/4 页 2 CN 114820381 A 2的卷积层， 前4个卷积层采用LeakyReLU激活， 最后一个卷积层采用sigmo id激活； 所述生成器以U ‑Net架构为基础模型并从前至后依次设置2个结构信息修复及嵌入编 码层、 6个部分卷积编码层、 转置卷积层、 5个部分反卷积解码层、 像素级注意力层、 1个部分 反卷积解码层、 2个结构信息修复及嵌入解码层、 瓶颈层和卷积层； 所述结构信息修复及嵌入编码层从前至后包括结构生成层、 部分卷积层、 批次归一化 层、 ReLU激活函数层， 其中， 结构生成层由部分卷积层、 瓶颈层和1*1卷积层组成； 所述6个部分卷积编码层均由部分卷积层、 ReLU激活层、 批次归一化层组成， 其依次对 特征进行下采样， 但后4个部分卷积编码层保持512个通道数不变； 所述6个部分反卷积解码层由部分卷积层、 转置卷积层、 Leaky激活层、 批次归一化层组 成， 其依次对上一层特 征和跳跃 连接的编码层特 征共同级联的复杂特 征进行上采样； 所述2个结构信 息修复及嵌入解码层的第一个从前至后包括结构生成层、 部分卷积层、 转置卷积层、 批次归一化层、 Leaky激活函数层， 其中， 结构生成层由部分卷积层、 瓶颈层和 1*1卷积层组成； 所述2个结构信息修复及嵌入解码层的第二个从前至后包括结构生成层、 部分卷积层， 其中， 结构生成层由部分卷积层、 瓶颈层和1*1卷积层组成； 所述像素级注意力层通过像素级上下文注意力层重建缺失部分， 并将注意力层输出特 征与输入特征在通道维级联， 再输入挤压提取模块获取注意力 层输出特征与输入特征的通 道权重并通过1*1卷积层进行自适应特 征融合。 3.根据权利要求2所述结构信 息修复及嵌入编码层， 其特征在于， 所述像素级注意力层 的具体操作包括如下步骤： B1、 首先分别从输入特征图Fin的前景缺失区域fx,y和背景非缺失区域bx,y提取像素点， 采用正则化 余弦相似度内积计算对应 像素点对的相似性得分： B2、 采用softmax操作对相似性进行归一 化处理获得注意力得分： 其中λ为常量； B3、 进行以核大小为 k的注意力得分传播以增强注意力一 致性： B4、 再以B1步骤已提取的背景非缺失区域bx,y中的像素点作为卷积核进行反卷积重建 缺失部分以生成注意力特 征图Fatt： B5、 再将输入特征图Fin和注意力特征图Fatt在通道级级联， 表示为<Fin,Fatt>， 随后输入 挤压提取模块获得不同通道权重， 最后采用1*1卷积自适应融合特征， 其中执行1*1卷积后 高宽不变， 通道减半。 4.根据权利要求2所述结构信息修复及嵌入编码层， 其特征在于， 第1个所述结构信息 修复及嵌入编 码层的结构生 成层输入通道数为6， 输出为3； 第1个所述结构信息修复及嵌入 编码层的部分卷积层输入通道数为6， 输出为64； 第2个所述结构信息修复及嵌入编码层的 结构生成层输入通道数为67， 输出为3； 第2个所述结构信息修复及嵌入编码层的部分卷积 层输入通道数为67， 输出为128； 第1个所述结构信息修复及嵌入解码层的结构生成层输入权　利　要　求　书 2/4 页 3 CN 114820381 A 3