(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210541384.2 (22)申请日 2022.05.17 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 (72)发明人 张文明　王斌　李雅倩　肖存军　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 专利代理师 周胜欣 (51)Int.Cl. G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于亮度补偿残差网络的水下图像增 强方法 (57)摘要 本发明公开了一种基于亮度补偿残差网络 的水下图像增强方法， 包括获取数据集； 数据预 处理： 将图片裁剪为相同尺寸的大小， 将RGB类型 的图片转换为HSV类型， 提取V通道并单独保存； 模型训练： 将RGB类 型的训练集放入RGB多尺度残 差子网络进行训练， 得到增强网络1和输出结果； 将V类型的训练集放入V通道亮度补偿子网络进 行训练， 得到增强网络2和输 出结果； 将两个的输 出结果送入增强重构子网络得到最终的输出结 果； 模型测试： 将测试集分别放入训练好的增强 网络1和增强网络2， 将输 出结果一起送入增强重 构子网络即可得到增强后的水下图片， 本发明能 够解决水下图像颜色失真、 模糊 、 低对比度问题， 通过亮度补偿进一 步提高图像的细节信息 。 权利要求书3页 说明书7页 附图2页 CN 114881879 A 2022.08.09 CN 114881879 A 1.一种基于亮度补偿残差网络的水 下图像增强方法， 其特 征在于： 包括如下步骤： S1、 获取网络训练所需数据集： 通过选取水下图片和相应的增强图片作为训练集和测 试集； S2、 数据预处 理： 对图片的尺寸和类型进行相应处 理； S3、 RGB多尺度残差子网络训练： 将RGB类型的训练集放入RGB多尺度残差子网络进行训 练， 得到增强网络模型1和输出 结果y1； S4、 V通道亮度补偿子网络训练： 将V通道的训练集放入V通道亮度补偿子网络进行训 练， 得到增强网络模型2和输出 结果y2； S5、 增强重构环节： 将输出结果y1和y2放入增强重构子网络进行计算， 得到最终的增强 结果y； S6、 模型测试： 将待测的数据集放入训练好的增强网络1、 增强网络2， 通过增强重构子 网络计算后即可 得到增强后的图片。 2.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法， 其特征在 于： 所述S1中从公开数据集UIEBD、 EUVP、 UFO ‑120中随机选取6400张水下图片和相应的增强 图片作为训练集； 随机 选取1600张水下图片包 含或不包 含相应的增强图片作为测试集。 3.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法， 其特征在 于： 所述S2的具体步骤 包括： 将训练集和测试集裁剪为256 ×256的大小； 原有的训练集和测试集是RGB类型的， 将 RGB类型转 为HSV类型， 提取亮度通道 V并单独保存。 4.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法， 其特征在 于： 所述S3的具体步骤 包括： RGB多尺度残差子 网络包括2个卷积层、 3个多尺度残差块和1个激活函数， 输入为RGB类 型的水下图片x1， 标签为相应的RGB类型的增强图片b1， 输出为RGB类型的增强图片y1； 损失 采用的是感知损失Lcon和内容损失L2的线性组合； 第一个卷积层将输入图片x1的3通道转成64通道， 经过RELU激活函数送入连续的3个多 尺度残差块进行特征提取， 最后经过第二个卷积层将通道数转为3， 得到生成的增强图片 y1； 多尺度残差块包含4个通道： 第一个通道不做处理， 第二个通道采用两个3 ×3的卷积， 第三个通道采用2个3 ×3的空洞卷积， 在增大感受野的同时， 不引入额外的计算量， 第四个 通道采用res2 net模块， 将原先的3 ×3卷积替换成3个3 ×3卷积， 增大了感受野； 第二个通道 的第一个卷积层的输出和第三个通道的第一个卷积层的输出通过拼接作为第二个通道的 第二个卷积层的输入和第三通道的第二个卷积层的输入， 第二个通道的输出和 第三个通道 的输出通过拼接的方式， 再经过1 ×1卷积与第一通道和第四通道的输出相加作为整个多尺 度残差块的输出； 内容损失L21是计算增强图片y1与标签b1的像素间损失； 其中yi是RGB多尺度残差子网络训练的增强结果， bi是输入图片对应的增强图片， n是训权　利　要　求　书 1/3 页 2 CN 114881879 A 2练的图片数量； 感知损失Lcon1计算增强图片y1与标签b1的高级感知特征之间的损失， 采用的ImageNet 上预训练的VG G19模型； 其中yi是RGB多尺度残差子网络训练的增强结果， bi是输入图片对应的增强图片， φ是 预训练的VGG19网络， j表示该网络的第j层， CjHjWj是第j层特征图的形状， n是训练的图片数 量； 总损失Lt1是内容损失L21和感知损失Lcon1的线性组合； Lt1＝L2+Lcon1。 5.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法， 其特征在 于： 所述S4的具体步骤 包括： V通道亮度补偿网络包括卷积层、 池化层、 多尺度残差块、 上采样和激活函数， 输入为V 通道水下图片x2， 标签为相应的V通道增强图片b2， 输出为V通道增强图片y2； 损失采用的是 感知损失Lcon、 内容损失L2以及多尺度结构相似损失Lms_ssim的线性组合； 第一个卷积层将输入图片x2的单通道转成64通道， 经过RELU激活函数得到特征 f1， f1经 过自适应池化将图片的尺寸从256 ×256变成128 ×128， 然后通过1 ×1卷积， 通道数由64变 为128， 送入第一个多尺度残差块得到特征f2， f2经过自适应池化将图片的尺寸从128 ×128 变成64×64， 然后通过1 ×1卷积， 通道数由128变为256， 送入第二个多尺度 残差块得到特征 f3， f3经过自适应池化将图片的尺寸从64 ×64变成32 ×32， 然后通 过1×1卷积， 通道数由256 变为512， 送 入第三个多尺度残差块 得到特征f4， f2、 f3、 f4经过1×1卷积， 通道数变 为64， f4经 过上采样后与f3进行残差连接， 得到后的特征再经过上采样后与f2进行残差连接， 得到后 的特征再经过上采样与f1进行残差连接， 最终通过3 ×3的卷积得到增强的V通道图片y2； 内容损失L22是计算增强图片y2与标签b2的像素间损失； 其中yi是V通道亮度补偿子网络训练的增强结果， bi是输入图片对应的增强图片， n是训 练的图片数量； 感知损失Lcon2计算的是增强图片y2与标签b2的高级感知特征之间的损失， 采用的 ImageNet上预训练的VGG19模型； 由于增强图片y2与标签b2都是单通道的， VGG 19模型的输入 是3通道的， 计算损失时需要将其扩展为3通道； 其中yi是V通道亮度补偿子网络训练的增强结果， bi是输入图片对应的增强图片， φ是 预训练的VGG19网络， j表示该网络的第j层， CjHjWj是第j层特征图的形状， n是训练的图片数 量；权　利　要　求　书 2/3 页 3 CN 114881879 A 3