(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221021080 5.3 (22)申请日 2022.03.03 (71)申请人 广西新发展交通 集团有限公司 地址 530025 广西壮 族自治区南宁市青秀 区云景路39号 新发展大厦18层 申请人 招商局重庆交通科研设计院有限公 司 (72)发明人 刘家庆　何廷全　陆山风　俞山川　 王少飞　赖增伟　李宗文　宋浪　 (74)专利代理 机构 北京海虹嘉诚知识产权代理 有限公司 1 1129 专利代理师 胡博文 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/40(2022.01)G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多传感器数据融合的车辆识别方法 (57)摘要 本发明公开了一种基于多传感器数据融合 的车辆识别方法， 包括步骤： S1.同步采集车辆的 视频信息以及雷达点云信息； S2.提取视频信息 中的车辆图像特征信息， 并对雷达点云信息进行 3D检测， 得到 车辆预测框信息； S3.对车辆图像特 征信息以及车辆预测框信息进行特征融合， 得到 车辆融合结果； S4.判断车辆融合结果中车辆图 像轮廓投影与车辆预测框轮廓的最大外界矩形 重叠度是否大于设定值， 若是， 则车辆融合结果 有效， 并确定 车辆的外型轮廓； 若否， 则车辆融合 结果无效。 本发 明解决了传统视频监测方案在低 视见环境下识别率不高、 监测范围小的问题， 提 高了车辆识别的鲁棒 性。 权利要求书2页 说明书4页 附图3页 CN 114581884 A 2022.06.03 CN 114581884 A 1.一种基于多传感器数据融合的车辆识别方法， 其特 征在于： 包括如下步骤： S1.同步采集车辆的视频信息以及雷达点云信息； S2.提取视频信息中的车辆图像特征信息， 并对雷达点云信息进行3D检测， 得到车辆预 测框信息； S3.对车辆图像特 征信息以及车辆预测框信息进行 特征融合， 得到车辆融合结果； S4.判断车辆 融合结果中车辆图像轮廓投影与车辆预测框轮廓的最大外界矩形重叠度 是否大于 设定值， 若 是， 则车辆融合结果有效， 并确定车辆的外型轮廓； 若否， 则车辆融合结 果无效。 2.根据权利要求1所述的基于多传感器数据融合的车辆识别方法， 其特征在于： 所述同 步包括时间同步以及空间同步； 所述时间同步， 具体包括： 在采集车辆的雷达点云信息并接收雷达信号的同时， 采集并 接收车辆的视频信息； 所述空间同步， 具体包括： 在车辆所在的世界坐标系中， 标定雷达与相机的坐标位置， 获得雷达与相机的相对位置； 其中， 所述雷达用于采集雷达点云信息， 所述相机用于采集视 频信息。 3.根据权利要求1所述的基于多传感器数据融合的车辆识别方法， 其特征在于： 提取视 频信息中的车辆图像特 征信息， 具体包括： 构建改进 的YOLOv5网络： 在输入算法块之前， 将输入的底层特征映射划分为第一部分 以及第二部分； 所述第一部分通过一个带权重的直连映射后进行连接处理， 所述第二部分 通过算法块进 行推理计算； 通过跨级层次结构将第一部 分的处理结果与第二部 分的计算结 果拼接合并， 得到网络 输出结果； 将视频信息中的车辆图像输入到改进的YOLOv5网络中， 输出车辆图像的多尺度目标检 测结果。 4.根据权利要求1所述的基于多传感器数据融合的车辆识别方法， 其特征在于： 对雷达 点云信息进行3D检测， 得到车辆预测框信息， 具体包括： 对雷达点云信 息的前景与背景进行分割， 再将所有前景车辆目标点云进行自底向上的 Bin运算处理， 得到3D预测框； 将3D预测框进行标准坐标细化处理， 得到精细化的预测框信息， 并将精细化的预测框 信息作为车辆预测框信息 。 5.根据权利要求4所述的基于多传感器数据融合的车辆识别方法， 其特征在于： 利用前 景点云分割器对雷达点云信息的前 景与背景进行分割， 具体包括： 基于k近邻的反向距离加权的平均进行插值， 再将插值特征通过跨层联接进行特征堆 叠， 堆叠后的特 征再输入到Ui nt PointNet中进行进一 步提取； 重复以上步骤， 最后经 过n*n的卷积运 算得到分割预测结果。 6.根据权利要求1所述的基于多传感器数据融合的车辆识别方法， 其特征在于： 对车辆 图像特征信息以及车辆预测框信息进行特征融合， 具体包括： 将车辆预测框信息中车辆轮 廓和位置根据标定好的参数， 计算投影到车辆图像特征信息中车辆轮廓结果对应的某个 点。 7.根据权利要求1所述的基于多传感器数据融合的车辆识别方法， 其特征在于： 所述步权　利　要　求　书 1/2 页 2 CN 114581884 A 2骤S4， 还包括： 判定危 化品车辆轮廓的检测精度： 对危化品车辆轮廓进行归一化处理， 并将危化品车辆轮廓通过等比例放缩后， 与标准 的车辆轮廓进行比较， 得到标准 化的危化品车辆轮廓； 计算标准化的危化品车辆轮廓与真实车辆外观轮廓的重合度， 并根据重合度判定危化 品车辆轮廓的检测精度。权　利　要　求　书 2/2 页 3 CN 114581884 A 3