(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210430177.X (22)申请日 2022.04.22 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 申请人 西安交通大 学 (72)发明人 刘向丽　付祎　王志国　李赞　 范文靖　许明辉　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 王品华 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于风格迁移的SAR图像融合检测方法 (57)摘要 本发明公开了一种基于风格迁移的SAR图像 目标检测方法， 主要解决现有技术在进行SAR图 像目标检测时， 由于图像样本数量不足， 质量较 低造成检测性能低的问题。 其方案是： 利用风格 迁移网络， 生成SAR样本对应的可见光图像； 将 SAR原始图像及可见光图像均送入目标检测网络 中， 得到两路的检测结果， 并对其进行预处理， 划 分训练数据和测试数据； 构建由卷积神经网络和 长短时间记忆网络并联而成的分类网络； 将训练 数据送入到该分类网络进行训练； 将测试数据输 入到训练好的分类网络进行决策级融合， 得到最 终的检测结果。 本发明检测精度较高， 特别是在 数据样本不足， 样本状况复杂的情况下， 仍能取 得较好的检测结果， 可用于SAR图像处 理。 权利要求书2页 说明书5页 附图1页 CN 114764889 A 2022.07.19 CN 114764889 A 1.一种基于基于风格迁移的SAR图像目标检测方法， 其特 征在于， 包括如下： (1)获取SAR图像原 始数据对应的可 见光图像： (1a)利用SEN1_2数据集通过梯度下降法对Pix2Pix网络进行训练， 得到训练好的 Pix2Pix网络； (1b)将SAR图像船舶目标检测数据 集SSDD输入到训练好的Pix2Pix网络中， 得到其对应 的可见光数据集； (2)将SAR图像原始数据及SA R图像原始数据对应的可见光图像这两路数据， 均按照7： 3 的比例划分为检测图像训练集和检测图像验证集； (3)使用两路检测图像训练集利用自适应动量估计优化算法Adam对YOLO ‑v3目标检测 网络进行训练， 得到训练好的YOLO ‑v3目标检测网络； (4)将两路检测图像验证集， 分别输入到训练好的YOLO ‑v3网络， 得到两路目标检测结 果； (5)将(4)中得到的两路目标检测结果进行决策级融合的预处理， 得到检测结果的数据 集， 再将其按照8： 2的比例划分为检测结果训练集和 测试集， 作为决策融合网络的输入； (6)构建一个依次由卷积神经网络CNN和长短时间记忆网络LSTM并联而成的分类神经 网络； (7)将检测结果训练集送入搭建好的分类神经网络中， 运用批量梯度下降法对其网络 参数进行迭代训练， 得到训练好的决策级融合网络模型； (8)将检测结果测试集输入到训练好的决策级融合网络， 得到SA R图像智能融合目标检 测结果。 2.根据权利要求1所述方法， 其特征在于， 所述(1a)中利用SEN1_2数据 集通过梯度下降 法对Pix2Pix网络进行训练， 实现如下： (1a1)设置学习率 为0.0002， 动量参数分别为β 1＝0.5， β 2＝0.9 99； (1a2)训练批次大小batchsize设置为1， 即每次迭代以1张图像为一组进行训练， 网络 每迭代一次就优化 一次参数； (1a3)选择自适应矩估计算法Adam为网络优化算法， 用该算法对每轮训练梯度的一阶 矩和二阶矩进行计算和校正， 以在单次迭代中优化网络参数； (1a4)设置网络最大迭代次数为10 0， 迭代训练共10 0次， 得到训练好的网络模型。 3.根据权利要求1所述方法， 其特征在于， 所述(3)中对YOLO ‑v3目标检测网络使用检测 图像训练集利用自适应矩估计算法Adam进行训练， 实现如下： (3a)将检测图像中长、 宽最大的那一条边变换至416大小， 再将短边以同等比例压缩， 对于未达到416长度的短边， 在该短边两端填充 灰色像素点， 使其长度达到416， 以实现对检 测图像的等比例缩放； (3b)对缩放后的图像随机进行左右翻转和裁剪， 设训练批次大小为2， 即每次迭代以2 张图像为 一组进行训练， 每迭代一次就优化 一次参数； (3c)设初始学习率为0.001， 使用Adam算法对每轮训练梯度的一阶矩和二阶矩进行计 算和校正， 以在单次迭代中优化网络参数； (3d)设置网络最大迭代次数为15 0， 重复(3a) ‑(3c)共150次， 得到训练好的网络模型。 4.根据权利要求1所述方法， 其特征在于， 所述(5)中对两路YOLO目标检测结果进行预权　利　要　求　书 1/2 页 2 CN 114764889 A 2处理， 实现如下： (5a)对目标图像的两路检测结果进行合并： 将两路检测结果中的每一个舰船目标使用矩形目标框在图像中， 其坐标值为(x1,y1, x2,y2)， 计算两路结果中各个目标之间的交并比IOU， 并将其与设定的第一阈值ω1＝0.5进 行比较： 如果IOU≥ω1， 则认为两路均检测到这一目标， 将此目标的两路检测结果合并保存， 执 行(5b)； 如果IOU<ω1， 则认为目标只在一路中被检测到， 另一路检测结果坐标值为0， 并将结果 进行保存； (5b)生成目标图像分类标签： 计算合并结果中检测到的舰船目标与检测结果测试集中标签所对应舰船目标的IOU， 并将其与设定的第二阈值ω2＝0.5进行比较： 如果IOU≥ω2， 则认为检测到了正确的目标， 并在合并的检测结果之后添加代表正确 值的标记1； 如果IOU<ω2， 则认为未检测到正确的目标， 在合并的检测结果之后添加代表错误值的 标记0。 5.根据权利要求1所述方法， 其特征在于， 所述(6)中建立的卷积神经网络CNN模型， 包 括2层卷积层、 2层池化层、 1层全连接层和1层dropout层， 其结构为： 第一卷积层 ‑>第一池化层 ‑>第二卷积层 ‑>第二池化层 ‑>全连接层 ‑>dropout层； 该第一卷积层为输入层， 输入节点数为6 0000， 卷积核数为64， 卷积核尺寸 为1×5； 该第二卷积层为输出层， 输出节点数为5 0， 卷积核数为128， 卷积核尺寸 为1×3； 该两层池化层均使用下采样， 采样尺寸 为1×2； 该dropout层的dropout率 为0.7； 每层网络中的学习率均为0.01， 使用[0,1]正态分布初始化各层节点的权值Wl及偏值 bl， 卷积层、 池化层和全连接层的激活函数均采用线性整流函数， 表达式为f(x)＝max(0, x)， x为自变量， 且 x值与激活函数 所在层节点的输入值相等。 6.根据权利要求1所述方法， 其特征在于， 所述(6)中构建长短时记忆单元网络LSTM模 型， 由1层长短时记忆单元构成， 其输入节点数为60000， 输出节点数为50， 记忆单元节点的 权值Wl及偏值bl使用[0,1]正态分布初始化。 7.根据权利要求1所述方法， 其特征在于， 所述(7)中运用批量梯度下降法对分类神经 网络参数进行迭代训练， 实现如下： (7a)设置数据批量大小为64， 将检测结果训练集按照批量大小分割成多批数据， 将这 些数据分批依次送入神经网络中进行 特征提取； (7b)选用自适应矩估计算法Adam， 利用网络所提取到的特征， 对每轮训练梯度的一阶 矩和二阶矩进行计算和校正， 以在单次迭代中优化网络参数； (7c)设置网络最大迭代次数为15 0， 重复(7a)和(7b)共15 0次， 得到训练好的网络模型。权　利　要　求　书 2/2 页 3 CN 114764889 A 3