(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210533831.X (22)申请日 2022.05.16 (71)申请人 西南石油大 学 地址 610500 四川省成 都市新都区新都大 道8号 (72)发明人 程吉祥　田甜　李志丹　谢智威　 吴杰东　 (51)Int.Cl. G06V 20/05(2022.01) G06V 40/10(2022.01) G06V 10/32(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 5/00(2006.01) (54)发明名称 一种基于图像增强的轻量化水下目标检测 方法和系统 (57)摘要 本发明公开了一种基于图像增强的轻量化 水下目标检测方法和系统， 包括如下步骤： 首先 对真实水下光学训练集图像使用图像增强算法 预处理； 然后使用轻量化卷积神经网络提取训练 集图像特征； 提取三个尺度的特征图像并对其使 用带融合注意力模块的特征金字塔网络进行处 理； 使用分类回归层对处理后的特征图像进行计 算并回归出图像中所包含的水下目标的类别与 位置； 使用矩形框标注目标位置并在左上角显示 目标类别名称； 设计并实现一种水下目标检测系 统， 该系统使用本发明方法进行水下图像检测和 视频检测。 本发明对真实水下场景中色偏、 目标 遮挡和重叠的目标检测具有鲁棒性， 测试结果显 示本发明方法在保证检测模型的轻量化的同时 可以取得较高检测精度。 权利要求书3页 说明书8页 附图5页 CN 114821286 A 2022.07.29 CN 114821286 A 1.一种基于图像增强的轻量 化水下目标检测方法和系统， 其特 征在于， 包括以下步骤： S1、 采集真实光学水下场景中包含水下目标的图像， 同时对该图像中需检测的水下目 标进行标注， 构成训练集； 所述水下目标包含海胆、 海星、 扇贝和海参四类； 所述标注即用矩 形框对水 下图像中目标进行圈注以及标注 矩形框内目标的类别名称； S2、 统一步骤S1中水下训练集图像尺寸并使用图像增 强算法进行图像处理， 得到预处 理的水下光学图像训练集； 所述统一训练集图像尺寸即对训练集图像进行尺寸变换， 使得 其长宽与本发明方法所设置的长宽相同； 所述图像增强算法采用带色彩恢复的多尺度视网 膜增强算法(Multi ‑Scale Retinex with Color Restorati on,MSRCR)， 具体过程如下： 先对初始训练集图像进行多尺度视网膜增强(Multi ‑Scale Retinex,MSR)处 理： 其中， sj为原图像， sj(x,y)为原图像中的像素点， FMSR为增强结果， N为单尺度视网膜增 强算法的次数， *为卷积操作， ωj是第j次单尺度视网膜增强算法所对应的权重因子， 一般 取∑ωj＝1， fj(x,y)为滤波函数， 其表示如下： 其中， k的取值需满足 ∫ ∫ f(x,y)dxdy＝1； σj表示核参数； MSRCR算法即在MSR算法上进一 步引入色彩恢复因子， 其公式如下： FMSRCR＝cj(x,y)FMSR(x,y) 其中， FMSRCR表示增强结果， cj(x,y)为色彩恢复因子， 其需满足如下 条件： 其中， μ和 η表示色彩恢复增益因子和偏置量， 均为常数； S3、 构建水下目标检测卷积神经网络； 所述水下目标检测卷积神经网络首先采用轻量 化卷积神经网络提取三个不同尺度的特征图像； 该轻量化卷积神经网络由轻量化的卷积块 和残差瓶颈结构所构成； 然后通过引入融合尺度、 通道和空间注意力模块的特征金字塔网 络对提取的三个尺度的特征图像进行 处理与融合； 最后 将三个融合后的特征图像输入到分 类回归层进行 预测； S4、 使用步骤S3所构 建的水下目标检测卷积神经网络对步骤S2中预处理后的训练集进 行训练； 训练时通过分类回归层输出 的结果对水下图像目标进行识别与定位， 同时用矩形 框标注目标位置， 且对不同类别水下目标进行标识， 得到带矩形框与目标类别的水下目标 图像； S5、 设置训练水下目标检测卷积神经网络时需要的相关超参数和常规优化算法， 保存 损失函数收敛时卷积神经网络训练的权 重参数文件； S6、 构建基于图像增 强的轻量化水下目标检测模型， 即将步骤S5获得的权重参数文件 引入至步骤S 3构建的水下目标检测卷积神经网络， 并使用该检测模 型对待检测水下图像进 行目标检测， 同时， 检测模型将自动记录检测图像所包含的水下目标矩形框， 并对矩形框内权　利　要　求　书 1/3 页 2 CN 114821286 A 2目标种类进行识别并标记。 2.根据权利要求1所述的一种基于图像增强的轻量化水下目标检测方法， 其特征在于， 步骤S3中所述水下目标检测卷积神经网络采用轻量化卷积神经网络提取三个尺度的特征 图像； 所述三个尺度的特征图像即若设置输入训练集图像的长、 宽和通道数为M ×M×3， 则 提取的三个尺度的特征图像为 和 通过该轻量化卷 积神经网络提取三个尺度的特 征图像从大到小设为f1， f2和f3， 其过程如下： 其中， 为进行n次G ‑bneck残差瓶颈结构处理； Conv1表示卷积核大小为3 ×3， 步长 为2的卷积操作； Input表示输入的预处理的水下光学训练集图像； 所述残差瓶颈结构分为 步长为1和步长为2两类， 步长为1时： 步长为2时： FG‑bneck(z)＝FLC (Conv1(FLC(z)))+z； 其中， z为函数变 量， FLC轻量化卷积操作， 其从前致后依次设置卷积核大 小为1×1， 步长为1的卷积 操作和逐层卷积 操作； 所述特征图像f1， f2和f3， 在f1的计算过程中， 第2次和第4次使用步长为1的G ‑bneck残差 瓶颈结构， 其余使用步长为1的残差瓶颈结构； 在f2和f3的计算过程中， 均在第1次使用步长 为2的残差瓶颈结构， 其 余使用步长为1的残差瓶颈结构。 3.根据权利要求1所述的一种基于图像增强的轻量化水下目标检测方法， 其特征在于， 步骤S3中所述通过引入融合尺度、 通道和空间注意力模块的特征金字塔网络对选取提取的 三个尺度的特 征图像进行处 理与融合， 具体原理如下： 对所述轻量化卷积神经网络提取的特征图像经过上采样、 下采样、 残差瓶颈层和融合 注意力模块操作以进行不同尺度的融合； 融合后的三个特征图像从大到小设为F1， F2和F3， 其原理如下： F1＝FCSP(FLCS(Fup(Q2)+f1)) F2＝FCSP(FLCS(Fdown(F1)+Q2)) F3＝FCSP(FLCS(Fdown(F2)+Q1)) 其中， Q1＝Conv2(f3)， Q2＝FLCS(Fup(Q1)+f2)， Fup为上采样 函数， Fdown为下采样函数， Conv2 表示卷积核大小为1 ×1， 步长为1的卷积 操作， FCSP残差瓶颈层， 具体为： FCSP(z)＝z+(3 ×(z+Conv2(z))) FLCS为融合注意力模块， 具体为： FLCS(z)＝FLA+FCA+FSA+z 其中： FLA(z)＝z·δ(Conv2(AvgPool(z))) FCA(z)＝z·δ(FC(MaxPo ol(z))) FSA(z)＝z·δ(Conv3(MaxPool(z),AvgPo ol(z))) 其中， AvgPool为平均池化操作， M axPool为最大池化操作， FC为全连接操作， Conv3表示权　利　要　求　书 2/3 页 3 CN 114821286 A 3