(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211022223.9 (22)申请日 2022.08.25 (71)申请人 上海大学 地址 200444 上海市宝山区上 大路99号 (72)发明人 李小毛　张婧婷　高建焘　彭艳　 谢少荣　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 万慧华 (51)Int.Cl. G06V 20/05(2022.01) G06V 10/26(2022.01) G06V 10/32(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06T 7/80(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种跨模态融合蒸馏的水面分割方法及系 统 (57)摘要 本发明涉及一种跨模态融合蒸馏的水面分 割方法及系统， 属于计算机视觉技术领域， 首先 建立点‑像素对应关系， 并根据此关系是否包含 2D像素来提取2D特征， 得到逐点2D特征； 再利用 最近邻插值法对3D特征图进行计算， 得到逐点3D 特征； 将二者融合得到融合特征； 利用逐点2D特 征 进行水面分割预测得到2D预测分数； 利用 融合特征进行水面分割预测得到融合预测分数； 计算2D预测分数和融合预测分数之间的蒸馏损 失； 最后利用降低蒸馏损失的方法调节2D预测网 络， 得到调节2D预测网络； 利用调节2D预测网络 进行水面预测分割。 本发明利用跨模态融合蒸馏 方法来迁移复杂网络所学到的知识， 简化网络， 降低计算 量且不影响 分割效果。 权利要求书3页 说明书11页 附图5页 CN 115311545 A 2022.11.08 CN 115311545 A 1.一种跨模态融合蒸馏的水面分割方法， 其特 征在于， 所述方法包括： 获取2D图像数据和3D点云数据； 所述2D图像数据和所述3D点云数据在同一视野内； 利用2D网络获取 所述2D图像数据的2D特 征图 根据获取所述2D图像数据的相机的内参矩阵和外参矩阵将所述3D点云数据透视投影 至2D平面， 得到2D平面像素； 利用所述2D平面像素与所述3D点云数据建立 点‑像素对应关系； 查找所述 点‑像素对应关系中包 含的2D特 征图 中的像素， 得到包 含像素； 将所述包 含像素所对应的2D特 征提取出来， 得到逐点2D特 征 利用3D网络获取 所述3D点云数据的3D特 征图F3D； 利用点与体素的对应关系 在所述3D特征图F3D上进行最近邻插值法计算， 得到逐点3D特 征 利用MLP网络将所述逐点2D特 征 转换为3D学习者特 征 将所述3D学习者特 征 与所述逐点3D特 征 拼接融合， 得到融合特 征 利用2D预测网络根据所述逐点2D特征 进行水面分割预测， 并利用分类器得到2D预 测分数； 利用3D预测网络根据所述融合特征 进行水面分割预测， 并利用分类器得到融合 预测分数； 利用KL散度计算所述2D预测分数和所述融合预测分数之间的蒸馏损失； 利用降低所述蒸馏损失的方法调节所述2D预测网络， 得到调节 2D预测网络； 利用所述调节 2D预测网络进行 水面预测分割。 2.根据权利要求1所述的跨模态融合蒸馏的水面分割方法， 其特征在于， 所述利用2D网 络获取所述2D图像数据的2D特 征图 具体包括： 利用2D网络提取 所述2D图像数据的多尺度特 征； 利用反卷积将所述多尺度特征上采样至与所述2D图像数据的分辨率相同， 得到2D特征 图 3.根据权利要求1所述的跨模态融合蒸馏的水面分割方法， 其特征在于， 所述根据获取 所述2D图像数据的相机的内参矩阵和外参矩阵将所述3D点云数据透视投影至2D平 面， 得到 2D平面像素的计算公式为： 其中， (ui,vi)表示2D平面像素坐标， K为相机的内参矩阵， T为相机的外参矩阵， (xi,yi, zi)表示3D点云坐标。 4.根据权利要求1所述的跨模态融合蒸馏的水面分割方法， 其特征在于， 所述点 ‑像素 对应关系为： 其中， 表示向下取整运算操作， (ui,vi) 表示2D平面像素坐标， Opixel表示点‑像素对应关系映射图， N表示3D点的数量。权　利　要　求　书 1/3 页 2 CN 115311545 A 25.根据权利要求1所述的跨模态融合蒸馏的水面分割方法， 其特征在于， 在所述将所述 包含像素所对应的2D特 征提取出来， 得到逐点2D特 征 之后， 还包括： 将所述逐点2D特 征 中的元素进行逐元素累加。 6.根据权利要求1所述的跨模态融合蒸馏的水面分割方法， 其特征在于， 在所述将所述 3D学习者特 征 与所述逐点3D特 征 拼接融合， 得到融合特 征 之后， 还包括： 将所述融合特 征 中的元素进行逐元素累加。 7.根据权利要求1所述的跨模态融合蒸馏的水面分割方法， 其特征在于， 所述利用KL散 度计算所述2D预测分数和所述融合预测分数之间的蒸馏损失的计算公式为： 其中， N表示3D点的数量， n是第n个点， DKL就是指KL散度， S3D2D表示融合预测分数， S2D表 示2D预测分数。 8.根据权利要求1所述的跨模态融合蒸馏的水面分割方法， 其特征在于， 所述2D网络包 括： ResNet34编码器和FCN 解码器。 9.根据权利要求1所述的跨模态融合蒸馏的水面分割方法， 其特征在于， 所述3D网络包 括： PointNet++编码器和解码器。 10.一种跨模态融合蒸馏的水面分割 系统， 其特 征在于， 所述系统包括： 数据获取模块， 用于获取2D图像数据和3D点云数据； 所述2D图像数据和所述3D点云数 据在同一视野内； 2D特征图获取模块， 用于利用2D网络获取 所述2D图像数据的2D特 征图 投影模块， 用于根据获取所述2D图像数据的相机的内参矩阵和外参矩阵将所述3D点云 数据透视投影至2D平面， 得到2D平面像素； 点‑像素对应关系建立模块， 用于利用所述2D平面像素与所述3D点云数据建立点 ‑像素 对应关系； 包含像素查找模块， 用于查找所述点 ‑像素对应关系中包含的2D特征图 中的像素， 得到包含像素； 逐点2D特征获取模块， 用于将所述包含像素所对应的2D特征提取出来， 得到逐点2D特 征 3D特征图获取模块， 用于利用3D网络获取 所述3D点云数据的3D特 征图F3D； 逐点3D特征获取模块， 用于利用点与体素的对应关系在所述3D特征图F3D上进行最近邻 插值法计算， 得到逐点3D特 征 MLP转换模块， 用于利用MLP网络将所述逐点2D特 征 转换为3D学习者特 征 特征拼接模块， 用于将所述3D学习者特征 与所述逐点3D特征 拼接融合， 得到 融合特征 权　利　要　求　书 2/3 页 3 CN 115311545 A 3