(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210561449.X (22)申请日 2022.05.23 (71)申请人 中国矿业大 学 地址 221116 江苏省徐州市大 学路1号 (72)发明人 叶宾　朱良钦　张宇　李会军　 (74)专利代理 机构 徐州苏越知识产权代理事务 所(普通合伙) 32543 专利代理师 张旭 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/30(2022.01) G06V 10/776(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/64(2022.01)G06N 3/04(2006.01) G06T 7/70(2017.01) G06T 7/80(2017.01) (54)发明名称 一种基于多传感器融合的三维环境目标检 测方法 (57)摘要 本发明公开了一种基于多传感器融合的三 维环境目标检测方法， 先采用RGB单目相机和固 态激光雷达作为传感装置， 然后确定激光雷达点 云在世界坐标系到相机像素坐标系的矩 阵变换 关系， 并完成相机与激光雷达的联合标定； 接着 通过ROS的时间同步机制， 对相机图像和雷达点 云数据进行筛选， 完成多模态信息的同步采集， 这样能将 两者同一时间采集的数据进行匹配； 根 据上述矩阵变换关系对图像赋予强度信息， 并对 点云赋予RGB信息； 然后建立全分辨率特征提取 网络， 将两种图像输入网络， 经过融合处理后获 得一组候选框， 将候选框投影至RGB ‑I和BEV特征 图以获得对应特征， 再采用多阶段式融合方法将 其深度融合， 从而确定目标的类别、 运动方向、 三 维尺寸和位置 。 权利要求书3页 说明书8页 附图4页 CN 115049821 A 2022.09.13 CN 115049821 A 1.一种基于多传感器融合的三维环境目标检测方法， 其特 征在于， 具体步骤为： A、 使用RGB单目相机和固态激光雷达作为传感装置， 路由器作为数据的中转接收和 发 送装置， 计算机终端作为数据接收和处 理装置， 搭建三维环境感知的软硬件系统； B、 根据张正友标定算法计算RGB 单目相机的内参矩阵和畸变系数， 完成RGB 单目相机标 定； 确定激光雷达点云在激光雷达世界坐标系到相 机像素坐标系的矩阵变换关系， 根据该 矩阵变换关系使用多个点进行映射， 完成RGB单目相机与激光雷达的联合标定； C、 对RGB单目相机采集的数据进行预处理， 缩小图像尺寸， 去除畸变， 减少噪声； 同时对 激光雷达采集的数据进行 预处理， 使用体素 滤波算法去除噪点， 减少点云数量； D、 根据ROS的时间同步机制， 设定时间匹配方式， 对步骤C处理后的相机图像和雷达点 云数据进 行筛选， 接收满足匹配的图像和点云数据， 滤除不满足条件的数据， 完成多模态信 息的同步采集； E、 将步骤D同步采集的数据， 根据步骤B获得的RGB单目相机和激光雷达的矩阵变换关 系， 将RGB单 目相机图像的RGB信息赋予到点云上， 同时将激光雷达采集的点云投射到相机 的像素坐标系上， 赋予图像强度信息； F、 建立编码 ‑解码结构的全分辨率特征提取网络， 将步骤E得到的具有强度信息的相机 图像和具有RGB信息的点云输入网络， 分别生成相应的RGB ‑I和BEV特征图； 基于BEV生成大 量3D锚框， 投影、 抽取得到不同模态的锚框特征， 并将其充分融合； 基于融合结果预测出目 标的置信度和大致 位置、 尺寸， 获得一组候选 框； G、 将候选框投影至RGB ‑I和BEV特征图以获得对应特征， 应用注意力 模块自适应地重新 调整候选框特征， 再采用多阶段式融合方法将其深度融合； 基于融合结果回归候选框与真 值之间的偏移量， 确定目标的类别、 运动方向、 三维尺寸和位置， 完成三维环境的目标检测 过程。 2.根据权利要求1所述的一种基于多传感器融合的三维环境目标检测方法， 其特征在 于， 所述步骤B的具体过程 为： RGB单目相机的世界坐标系到相机像素坐标系的变换关系为： 其中ZC为归一化系数； u和v分别是相机像素坐标系下的x轴和y轴坐标； Kint为相机内参 矩阵； Kext为相机外参矩阵； X、 Y、 Z分别是相机世界坐标系下x轴、 y轴和z轴坐标； f为焦距； dx 和dy是像元尺寸； R和T分别为旋转、 平 移矩阵； 激光雷达的世界坐标系到相机像素坐标系的变换关系为： 其中 为像素坐标； λ为归一化系数； K为相机内参矩阵； 和 分别为激光雷达世界坐 标系到相机世界坐标系的旋转矩阵和平 移矩阵； 为激光雷达世界坐标。 3.根据权利要求1所述的一种基于多传感器融合的三维环境目标检测方法， 其特征在 于， 所述步骤C中对激光雷达采集的数据进行预处理具体为： 使用体素滤波算法去除噪点，权　利　要　求　书 1/3 页 2 CN 115049821 A 2是根据输入的点云， 首先计算一个能够刚好包裹住该点云的立方体， 然后根据设定的分辨 率， 将该大立方体分割成不同的小立方体； 对于每一个小立方体内的点， 计算它们的质心， 并用质心的坐标来近似该立方体内的若干点， 从而完成激光雷达数据的预处 理过程。 4.根据权利要求1所述的一种基于多传感器融合的三维环境目标检测方法， 其特征在 于， 所述步骤D的具体过程为： ROS时间同步机制分别订阅包含相机图像数据和激光雷达点 云数据的话题， 通过TimeSynchronizer统一接收这两个话题， 只有在两个话题有相同的时 间戳时， 才会产生一个同步结果的回调函数， 从而对数据进 行筛选， 在回调函数里处理经过 同步时间筛 选后的数据， 完成多模态信息的同步采集。 5.根据权利要求1所述的一种基于多传感器融合的三维环境目标检测方法， 其特征在 于， 所述步骤E的具体过程为： 将相机采集的RGB信息赋予到点云上， 相机获取的图像中每个 像素包含(u,v,R,G,B)五个元素信息， (u,v)表示像素坐标， (R,G,B)表 示像素值， 根据步骤B 中标定的相机内参以及相机和 激光雷达的矩阵变换关系， 将(u,v)转换为激光雷达世界坐 标系下的坐标(X,Y,Z)， 并赋予对应点(R,G,B)像素值； 将激光雷达采集的点云投射到像素 坐标系上， 赋予图像强度信息， 激光雷达点云包含(X,Y,Z,I)四个元素信息， 其中(X,Y,Z)表 示点的三维坐标， I表 示强度值， 将(X,Y,Z)转换为像素坐标系下的坐标(u,v),并赋予对应I 强度值。 6.根据权利要求1所述的一种基于多传感器融合的三维环境目标检测方法， 其特征在 于， 所述步骤 F的具体过程为： 首先， 建立全分辨率特征提取网络以学习、 抽象RGB ‑I和BEV特 征， 全分辨率特征提取网络采用编码加 解码的结构， 以保证生成的特征图不但具备强语义 信息， 且保留足够的目标细节； 同时优化网络层数及卷积核参数， 以降低计算量和资源消 耗； 其次， 基于BEV生成3D锚框， 并提取、 融合来自不同模态的锚框特征， 在网络模型中， 完 成两种模态信息的初级预测后， 得到两个 不同模态获取的初级预选框， 使用6维参 数(cx,cy, cz,dx,dy,dz)来表示预选框， 其中(cx,cy,cz)表示目标中心坐标， (dx,dy,dz)表示目标的长宽 高， 评估两种模态的预选框， 根据交并比设置不同的权重， 融合生成最 终具有高召回率的预 选框； 最后， 利用建立的全分辨率特征提取网络基于 融合结果预测出目标的置信度和大致位 置、 尺寸， 获得一组候选 框。 7.根据权利要求1所述的一种基于多传感器融合的三维环境目标检测方法， 其特征在 于， 所述步骤G的具体过程 为： 首先， 使用通道注意力和 空间注意力机制提升特征在空间维度以及通道之间的联系， 更加有利于提取目标的有效特征； 输入维度为(n,c,w,h)的特征图， 分别进 行一个空间的全 局平均池化和最大池化， 得到两个(n,c,1,1)的通道描述特征图， 再将它们分别送入同一个 MLP网络的两个隐藏层中， 累加两个输出特征后经过激活函数， 得到通道注 意力机制后的特 征图； 之后的空间注意力机制是对通道数为c的特征图(n,c,w,h)分别进行一个通道维度的 平均池化和最大池化， 得到两个特征图并拼接起来得到(n,2,w,h)， 经过一个卷积层和激活 函数， 得到最终的特 征图； 其次， 使用多阶段式融合的方法， 对来自不同模态的候选框特征进行深入、 多层次地融 合， 对相同维度的RGB ‑I和BEV特征取均值， 输入至具有两个隐藏层的MLP网络， 得到中间输权　利　要　求　书 2/3 页 3 CN 115049821 A 3