(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210620320.1 (22)申请日 2022.06.02 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市钱塘新区白杨 街道2号大街1 158号 申请人 中电数据服 务有限公司 (72)发明人 张继勇　张世龙　周晓飞　李世锋　 周振　何帆　 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/46(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于双流网络的光场显著目标检测方 法 (57)摘要 本发明公开了一种基于双流网络的光场显 著目标检测方法， 包括如下步骤： S1、 创建数据 集， 所述数据集包括焦片和 RGB图像； S2、 通过双 流编码器提取焦片和RGB图像的特征； S3、 特征融 合S3‑1、 将提取的焦片特征进行融合， 使用焦片 维注意力模块融合焦片中的有效信息； S3 ‑2、 通 过跨模态特征融合模块将步骤S3 ‑1得到的融合 后的焦片特征和提取的RGB图像特征进行融合， 得到跨模态融合特征； S4、 通过解码模块对步骤 S3得到的跨模态融合特征进行逐级解码。 该方法 通过跨模态特征融合模块能够有效地融合目标 图像的特征、 协同图像的特征和深度图像的特 征。 所以通过光场的输入来改善传统的基于RGB 输入的显著目标检测具有良好的效果。 权利要求书1页 说明书5页 附图3页 CN 115019139 A 2022.09.06 CN 115019139 A 1.一种基于双流网络的光场显著目标检测方法， 其特 征在于， 包括如下步骤： S1、 创建数据集， 所述数据集包括焦片和RGB图像； S2、 通过双流编码器提取焦片和RGB图像的特 征； S3、 特征融合 S3‑1、 将提取的焦片特 征进行融合， 使用焦片维注意力模块融合焦片中的有效信息； S3‑2、 通过跨模态特征融合模块将步骤S3 ‑1得到的融合后的焦片特征和提取的RGB图 像特征进行融合， 得到跨模态融合特 征； S4、 通过解码模块对步骤S3得到的跨模态融合特 征进行逐级解码。 2.根据权利要求1所述的基于双流网络的光场显著目标检测方法， 其特征在于， 所述数 据集中每张RGB图像对应有12张不同焦点的焦片， 12张不同焦点的焦片的集 合为焦堆栈。 3.根据权利要求2所述的基于双流网络的光场显著目标检测方法， 其特征在于， 所述步 骤S2中特征的提取方法为： 将RGB图像和焦堆栈输入到双流编码 器中对特征进 行编码， 所述 双流编码器采用resnet50的5个卷积块， 分别为Conv1 ‑Conv5， RGB图像和焦堆栈经过双流编 码器后， 分别得到 5个层级的特 征。 4.根据权利要求2所述的基于双流网络的光场显著目标检测方法， 其特征在于， 所述步 骤S3‑1中焦片特征的融合方法为： 使用焦片维注意力模块针对每张焦片包含场景中不同深 度的信息， 通过学习的方式自适应学习每张焦片的融合权重， 然后使用得到的融合权重乘 以对应的焦片特 征， 并相加得到融合后的焦片特 征。 5.根据权利要求4所述的基于双流网络的光场显著目标检测方法， 其特征在于， 所述焦 片维注意力模块获取融合权重的方法为： 首先将12张焦片在通道维连接， 然后使用通道注 意力预测每 个通道的重要性， 并作为每张焦片的融合权 重。 6.根据权利要求1所述的基于双流网络的光场显著目标检测方法， 其特征在于， 所述步 骤S3‑2中， 使用相加操作融合两个模态的特 征。 7.根据权利要求1所述的基于双流网络的光场显著目标检测方法， 其特征在于， 所述步 骤S4中， 使用Unet的网络结构将跨模态融合特征使用跳连接的方式， 连接到解码模块的每 个层级， 然后将解码模块的每层特 征使用卷积预测得到 显著图。 8.根据权利要求7所述的基于双流网络的光场显著目标检测方法， 其特征在于， 所述步 骤S4中采用深监 督策略， 使用交叉熵损失函数对Unet的网络结构进行监 督。权　利　要　求　书 1/1 页 2 CN 115019139 A 2一种基于双流网 络的光场显著目标 检测方法 技术领域 [0001]本发明涉及计算机视觉技术领域， 具体指一种基于双流网络的光场显著目标检测 方法。 背景技术 [0002]显著目标检测(SOD)旨在凸显出视觉上最吸引人的对象。 在过去的数年中， 它作为 计算机的一项重要视觉任务得到了很好的应用并获得了广泛的关注， 包括对 象分割、 视觉 跟踪、 人员重新识别和伪装对象检测。 在传统的显著目标检测方法之中， RGB图像只包含着 像素颜色和强度， 而光场图像不仅包含像素颜色和强度信息， 还反 映出了所有入射光的方 向。 入射光的方向反映出场景中物体的3D几何信息 。 [0003]最近， Lytro、 Raytrix等商用微透镜阵列光场相机越来越受欢迎， 光场信息也被用 于深度估计、 超分辨率等多重视觉任务， 这就提供了更丰富的视觉信息算法， 也让算法性能 得到了显著提升。 根据RGB图像、 RGB ‑D图像和光场图像等图像类型的输入， 现有的SOD算法 可以大致分为三类： 2D、 3D和4D  SOD算法。 在研究中， 第一类算法占据了很大比例， 而后两类 所占的比例则相 对较少。 由于深度学习 技术， 特别 是卷积神经网络(CNN)的重大进步， 主流 二维显著性检测算法取得了显著进展。 在尝试对实际场景进行成像时， 这些方法通常会减 慢或失败。 这有两个主要原因:(1)传统的2D  SOD方法主要是依靠着先验知识 来进行的。 (2) RGB图像中缺少3D信息。 3D  SOD算法的准确性之所以正逐渐受到学者们的关注， 主要是因为 深度信息有助于了解突出目标的上下文信息并 改善SOD。 然而， 深度估计本身 是一个非常 困 难的话题， 质量差的深度图对3D  RGB‑D SOD方法的性能有严重影响。 [0004]近几年来光场信息相对容易获取， 这主要得益于Lytro、 Raytrix等光场相机的普 及。 丰富的视觉信息蕴含在光场图像中， 其中包括全焦图像、 焦点堆栈序列和深度图， 而丰 富的3D几何和外观信息蕴含在焦堆栈中。 我们可以相信， 4D  Lightfield  SOD具有良好的发 展前景， 因为其具有独特 的视觉特性。 由于光场数据包含了在许多方面都有益于显著目标 检测的自然场景 的综合信息， 所以通过光场的输入来改善传统的基于RGB输入的显著目标 检测已经越来越成为新兴的流行趋势。 但是， 当前显著目标检测的研究中缺少 基于深度学 习的光场方法。 发明内容 [0005]针对现有技术存在的不足， 本发明提供了一种基于双流网络的光场显著目标检测 方法， 利用多层次和多尺度的能力使CNN能够准确地捕捉视觉上最吸引人的对象的区域， 而 无需先验知识。 [0006]为了解决上述 技术问题， 本发明的技 术方案为： [0007]一种基于双流网络的光场显著目标检测方法， 包括如下步骤： [0008]S1、 创建数据集， 所述数据集包括焦片和RGB图像； [0009]S2、 通过双流编码器提取焦片和RGB图像的特 征；说　明　书 1/5 页 3 CN 115019139 A 3