(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210194201.4 (22)申请日 2022.03.01 (71)申请人 北京航空航天大 学 地址 100000 北京市海淀区学院路37号 (72)发明人 赵丹培　朱纯博　苑博　史振威　 张浩鹏　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 李冉 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于舰船实例分割的港口全景感知系统 (57)摘要 本发明公开了基于舰船实例分割的港口全 景感知系统， 包括图像采集模块、 神经网络模型 以及全景感知结果输出模块； 图像采集模块用于 采集港口图像； 神经网络模型用于对采集的港口 图像进行军舰检测、 军舰分割以及水域提取处 理， 获取军舰目标定位框、 军舰目标具体形状轮 廓以及港口水域分布； 所述全景感知结果输出模 块用于根据所述军舰目标定位框、 所述军舰目标 具体形状轮廓以及所述港口水域分布输出全景 感知结果。 本发明通过构建的神经网络模型， 能 够同时处理军舰检测、 军舰分割和水域提取， 并 且提升了军舰检测准确度。 权利要求书2页 说明书6页 附图1页 CN 114565764 A 2022.05.31 CN 114565764 A 1.基于舰船实例分割的港口全景感知系统， 其特征在于， 包括图像采集模块、 神经网络 模型以及全景感知结果输出模块； 所述图像采集模块用于采集港口图像； 所述神经网络模型用于对采集的港口图像进行军舰检测、 军舰分割以及水域提取处 理， 获取军舰目标定位框、 军舰目标 具体形状 轮廓以及港口水域分布； 所述全景感知结果输出模块用于根据 所述军舰目标定位框、 所述军舰目标具体形状轮 廓以及所述港口水域分布输出全景感知结果。 2.根据权利要求1所述的基于舰船实例分割的港口全景感知系统， 其特征在于， 所述神 经网络模型包括卷积层、 多尺度特 征编码网络层、 水域 提取模块和实例分割模块； 所述卷积层用于对 采集的港口图像进行降采样， 获得 特征图； 所述多尺度特征编码网络层用于对所述特征图进行分类处理， 得到高、 中、 低 三种尺度 的特征图； 所述水域提取模块根据高、 中、 低 三种尺度的特征图进行提取处理， 获取港口水域分布 图像； 所述实例分割模块根据高、 中、 低 三种尺度的特征图进行检测以及分割处理， 得到军舰 目标定位框以及军舰目标 具体形状 轮廓图像。 3.根据权利要求2所述的基于舰船实例分割的港口全景感知系统， 其特征在于， 所述多 尺度特征编 码网络层包括第一反卷积层， 所述第一反卷积层用于对所述特征图进 行插值上 采样处理， 得到插值上采样后的特 征图。 4.根据权利要求3所述的基于舰船实例分割的港口全景感知系统， 其特征在于， 所述水 域提取模块包括concatenate层、 第二反卷积层以及提取层； 所述concatenate层依次连接 所述第二反卷积层以及所述 提取层； 所述concatenate层用于将插值上采样后的特 征图进行融合； 所述第二反卷积层用于对融合后的特 征图进行 上采样； 所述提取层用于对上采样后的特 征图进行提取处 理， 得到港口水域分布图像。 5.根据权利要求2所述的基于舰船实例分割的港口全景感知系统， 其特征在于， 所述实 例分割模块包括特征金字塔提取模块、 候选框提取模块、 标注框提取模块、 目标检测模块以 及语义分割模块； 所述特征金字塔提取模块依 次连接所述候选框提取模块、 所述标注框提 取模块、 所述目标检测模块以及所述语义分割模块； 所述特征金字塔提取模块用于将所述高、 中、 低三种不同尺度的特征图形成特征金字 塔图像； 所述候选框提取模块用于根据所述特 征金字塔图像提取候选 框图像； 所述标注框提取模块用于根据所述特 征金字塔图像提取 标注框图像； 所述目标检测模块用于根据所述候选框图像与所述标注框图像的交并比对所述特征 金字塔图像进行框 选， 得到所述军舰目标定位框； 所述语义分割 模块用于根据 所述军舰目标定位框 内进行逐像素标记， 得到军舰目标具 体形状轮廓图像。 6.根据权利要求5所述的基于舰船实例分割的港口全景感知系统， 其特征在于， 所述军 舰目标定位框的判定方法为： 设定交并比阈值， 如果候选框与标注框的交并比在阈值范围权　利　要　求　书 1/2 页 2 CN 114565764 A 2内， 则认定其 为正样本； 否则为负 样本。 7.根据权利要求6所述的基于舰船实例分割的港口全景感知系统， 其特征在于， 所述军 舰目标定位框的判定公式如下： 其中， GT为标注框， box为 候选框， Tnow表示当前的I oU阈值， 1为 正样本， 0为负 样本。 8.根据权利要求6所述的基于舰船实例分割的港口全景感知系统， 其特征在于， 神经网 络模型还包括损失函数， 所述损失函数用于优化所述军舰目标定位框、 港口水域分布图像 以及军舰目标 具体形状 轮廓图像； 所述损失函数包括军舰检测损 失量、 水域提取损 失量和军舰像素分割损 失量； 所述损 失函数计算公式如下： Lall＝γ1Ldet+γ2Lmask+γ3Lwater‑seg 其中， Lall为损失函数， Ldet为军舰检测损失量， γ1为军舰检测损失 的系数， 军舰像素分 割损失量Lmask为根据类别输出相应的损失量， γ2为军舰像素分割损失量的系数； Lwater‑seg为 水域提取损失量， γ3为水域提取损失量的系数。 9.根据权利要求8所述的基于舰船实例分割的港口全景感知系统， 其特征在于， 所述军 舰检测损失量包括分类损失分量、 目标损失分量和标注框损失分量的加权求和， 所述军舰 检测损失量计算公式如下： Ldet＝α1Lclass+α2Lobj+α3Lbox 所述水域提取损失包括交叉熵损失分量和交并比损失分量， 水域提取损失量计算公式 如下： Lwater‑seg＝Lce+LIoU 其中， Lclass为分类损失分量， α1为分类损失分量的加权系数， Lobj为目标损失分量， α2为 目标损失分量的加权系数， Lbox为候选框损失分量， α3为候选框损失分量的加权系数， Lce为 交叉熵损失分量， LIoU为交并比损失分量。权　利　要　求　书 2/2 页 3 CN 114565764 A 3