(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211064767.1 (22)申请日 2022.08.31 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 党源杰　杨正一　丁小飞　胡雨曈　 张斌　陈朋　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 专利代理师 舒良 (51)Int.Cl. G06V 10/26(2022.01) G06T 17/05(2011.01) G06V 10/764(2022.01) G06V 10/762(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于稀疏融合的在线碳语义地图构建 方法 (57)摘要 一种基于稀疏融合的在线碳语义地图构建 方法， 所述方法包括以下步骤： 1)基于目标检测 神经网络获取城市图像语义标签； 2)通过特征匹 配完成语义标签的稀 疏地图注册， 然后进行稀 疏 语义地图点的聚类分割和平面重建； 3)基于时空 几何约束的局部平面滚动优化方法实现语义场 景的重建和感知； 4)结合碳排放监测点云信息， 构建碳语义地图。 本发明的优点是： 在稀疏的深 度地图基础之上， 提出一种快速碳语义地图重建 方法， 实现了碳语义场景的重建和感知， 确保了 无人机执行复杂碳监测任务时的安全导航。 通过 大量室外场景重建实验证明， 本发 明方法相比同 类方法可以提升80.5％的语义平面重建精度， 同 时计算速度提升81倍。 相较于其他基于稠密深度 地图的场景感知算法， 本发明方法的计算复杂 度 更低， 尺度误差更低， 适合用于搭载复杂无人机 飞行任务的机载处 理平台。 权利要求书3页 说明书7页 附图2页 CN 115496900 A 2022.12.20 CN 115496900 A 1.一种基于稀疏融合的在线碳语义 地图构建方法， 包括以下步骤： 1)基于目标检测 神经网络获取城市图像 语义标签； 2)通过特征匹配完成语义标签的稀疏地图注册， 然后进行稀疏语义地图点的聚类分割 和平面重建； 3)基于时空几何约束的局部平面滚动优化方法实现语义场景的重建和感知； 4)结合碳排放监测点云信息， 构建碳语义 地图。 2.如权利要求1所述的一种基于稀疏融合的在线碳语义地图构建方法， 其特征在于： 步 骤1)具体包括： 目标检测网络首先将图像重新缩放为统一分辨率的输入图像， 然后将图像 送入神经网络中， 预测目标的位置以及包含目标的选框置信度和分类的条件概率， 最后对 结果进行非极大值抑制， 获得最佳概 率的分类结果； 网络具体实现过程如下： 将输入图像分割为S ×S个网格， 每一个网格都有独立预测B个 目标框和每一个目标框的置信度， 置信度包含了预测目标框存在物体的概率以及目标框的 位置准确度； 此外， 每一个网格还需要预测一个条件概率C， 即在这个网格存在物体的条件 下属于某 一类物体的概率； 因此网络的输出就是一个S ×S×(B*5+C)维度的向量； 在预测的 时候， 每个网格的分类信息和网格置信度相乘就 获得了网格的分类 ‑空间置信度； 在算法的 最后， 采用非极大值抑制方法， 求每一个网格包 含最准确目标位置信息的目标框以及类别； 基于目标检测神经网络获取城市图像语义标签， 具体网络是： 采用了24个卷积层和2个 全连接层， 不需要区域建议网络(regionproposal)来寻找目标， 直接回归便可完成目标检 测识别； 其中， 卷积层用来提取图像特征， 而全连接层用来预测目标位置和类别概率值； 本 网络借鉴GoogLeNet分类网络结构， 但与GoogLeNet不同， 采用的网络使用1 ×1卷积层加上3 ×3的卷积层来替代Incept ion模块以降低计算的维度并且将预测结果归一化； 网络最后一 层使用线性激活函数， 并且 对其他层使用式(1)中的线性 修正单元(RELU)作为激活函数， 此外， 本网络使用均方误差作 为损失函数来优化模型的参数， 即网络输出的S ×S×(B* 5+C)维向量与真实图像对应的S ×S×(B*5+C)维向量的均方误差， 损失函数如式(2)所示， 其中， coordError， iouError和classError分别代表预测数据与标定数据之间的坐标 误差， 交并比(I ntersecti onOverUnion)误差和分类误差 。 3.如权利要求1所述的一种基于稀疏融合的在线碳语义地图构建方法， 其特征在于： 所 述步骤2)具体包括： 对场景中频繁出现且较为稳定的目标进行语义标记， 在图像中将被识 别出的区域表示 为式(3)， Regionc＝{L,{xLT,h,w}}     (3) 其中c表示在图像平面， xLT表示语义区域的左上角坐标， h和w表示语义区域的高度和宽 度， L代表这个区域的语义标签； 相应地， 将三维的语义 地图点表示 为式(4)： X＝{L,x}      (4)权　利　要　求　书 1/3 页 2 CN 115496900 A 2其中X表示世界坐标系下的三维语义地 图点， x表示地图深度点， L表示语义标签； 为了 获取X， 利用特征跟踪器中获得的特征ID作为图像与稀疏深度特征点的锚点来确定三维语 义点X； 通过语义标注将每张图像中的语义点投影到三维空间中； 对于一个三维空间中的平面 来说， 一张图片内的特征点是远远不够的， 因此需要对这些语义点进 行增量式更新， 并且按 照平面为单位将这些空间的点云划分到不同的平面中去 进行平面重建； 使用超体素方法来减少三维区域的数量， 超体素处理过程如下： 构建体素云的邻 接图， 生成并过滤空间种子， 利用特征 的距离进行聚类， 通过迭代 聚类算法增强聚类间的空间连 通性； 以固定的频率和滑动窗口的方式在三维点云的重复执行该过程， 得到超体素聚类用 于后续的LC CP分割； 采用LCCP方法根据两个相邻平面的凹凸关系来解决点云块的分割问题， 将在聚类 中获 得的超体素表示 为式(5)， Regionw＝{L,N,Pcenter,{x0,x1,···,xN}}      (5) 其中w表示在世 界坐标系， L代表这个区域的语义标签， N表示超体素的数量， Pcenter表示 这个超体素的中心点 坐标， {x0,x1,···,xN}表示在超体素内的所有三维坐标点； 随后， 采用应用随机抽样一致性(RANSAC)方法来计算三维语义超体素的回归平面， RANSAC方法 的处理过程为： 随机选择三维语义特征点， 估计模型并且计算属 于这个模型的 内点个数； 这一过程持续重复一定的迭代次数并且输出平面参数和属于平面的内点索引， 这样可以去除孤立点并且得到准确的语义平面， 将满足Regionw的语义平面表示为π， 这些 由稀疏语义特 征点所确定的语义平面构成了初步的语义空间如式(6)所示， W′＝{(L1, π′1),(L2, π′2),···(Ln, π′n)}     (6) 其中n是语义平面的数量。 4.如权利要求1所述的一种基于稀疏融合的在线碳语义地图构建方法， 其特征在于： 所 述步骤3)具体包括： 建立一种语义平面的质量损失函数并围绕该损失函数提出了一种语义 地图的局部优化方法： 基于时空几何约束的局部平面滚动优化方法实现了语义场景的重建和感知： 定义输入 的语义平面为πk， 落在平面内的点的数量为 平面的中心坐标为 平面 的法向量 为 平面的系数为(A,B,C,D)； 然后， 将生成的平面加入全局语义地图； 分为两个子步骤： 插入和更新； 插入步骤： 在局 部平面中， 利用相 机的航向和其他平面的法向量， 建立了一个关于朝向误差的平面质量损 失函数， 其中 是所有其他局部平面的法向量， 是局部平面的索引， 是由滑动窗内相机首尾 坐标构成的航向 向量： 更新步骤： 尝试查找最接 近输入平面的平面索引， 此 过程可以表示 为式(8)所示， 权　利　要　求　书 2/3 页 3 CN 115496900 A 3