(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210588585.8 (22)申请日 2022.05.26 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 田浩辰　黄玉春　孟小亮　冯苑君　 李昊澄　刘易琳　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 王琪 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/56(2022.01) G06V 20/40(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06V 10/25(2022.01) G06V 10/22(2022.01) G06V 10/24(2022.01) G06N 3/04(2006.01) G01S 13/50(2006.01) G01S 13/58(2006.01) (54)发明名称 基于毫米波雷达与视觉融合的公交车道占 用检测方法 (57)摘要 本发明公开了一种基于毫米波雷达与视觉 融合的公交车道占用检测方法。 包括毫米波雷达 系统、 摄像头和数据处理系统， 所述系统置于交 通横杆上。 在视频图像帧中通识别公交专用车道 线并确定ROI区域， 根据速度等条件筛选出探测 目标的雷达信号点， 通过投影矩阵将雷达目标转 换到图像坐标系， 并预估候选区域； 使用轻量级 网络识别交通对象并进行车牌捕捉， 卡尔曼滤波 和匈牙利算法进行多目标跟踪； 通过车牌信息与 车辆特征进行交通对象判断， 若不为公交车或特 殊车辆， 则对 车辆轨迹和公交车道进行空间叠置 分析， 记录违章车辆信息。 本发明具有检测范围 大、 检测数量多， 算法鲁棒性、 准确度均较高， 且 实时检测、 节约成本等优势， 具有良好的开发和 应用前景。 权利要求书4页 说明书9页 附图3页 CN 114898296 A 2022.08.12 CN 114898296 A 1.一种基于毫米波雷达与视觉融合的公交车道占用检测方法， 其特征在于， 包括如下 步骤： 步骤1， 在交通卡口架设毫米波雷达与摄像头， 判断是否为公交车车道专用时段， 在视 频图像帧中提取公交车专用车道线， 确定车道之间及附近为ROI区域； 步骤2， 筛选出探测目标的雷达信号点， 通过世界坐标系和投影矩阵将雷达目标转换到 图像坐标系， 只保留ROI区域的目标并预估候选目标区域； 步骤3， 对图像中的每个候选目标区域， 使用轻量级目标检测模型进行交通对象目标识 别， 获取交通对象边框与特征， 并进 行车牌捕捉， 联合卡尔曼滤波和匈牙利算法进 行多目标 跟踪， 感知ROI区域所有的交通对象， 记录运动轨 迹； 步骤4， 通过车牌信 息与车辆特征进行交通对象判断， 若不为公交车或允许借道通行的 特殊车辆， 则进入下一 步骤； 步骤5， 对车辆运动轨迹和公交车道进行空间叠置分析， 若连续多帧中， 出现一定数量 的图像， 发生车辆和公交车道内除了可借道行驶的黄色格网区域以外的大面积重合， 则判 断为目标 车辆发生了公交车道占用行为， 记录其违章信息 。 2.根据权利要求1所述的基于毫米波雷达与视觉融合的公交车道占用检测方法， 其特 征在于： 所述 步骤1的具体实现如下； 在交通卡口交通杆上架设毫米波雷达与摄像头， 实时获取毫米波和视频信号， 若当前 时段为地区规定公交专用车道使用时段， 则开始进行公交车道占用的检测； 在视频帧中提取公交专用车道线， 区分黄色格网区域与其他区域， 将同一道路车道线 间及平行于车道扩展矩形区域设为感兴趣区域， 即ROI区域。 3.根据权利要求2所述的基于毫米波雷达与视觉融合的公交车道占用检测方法， 其特 征在于： 采用人工标注或者基于图像处理的自动识别方法在视频帧中提取公交专用车道 线， 区分黄色格网区域与其 他区域。 4.根据权利要求3所述的基于毫米波雷达与视觉融合的公交车道占用检测方法， 其特 征在于： 基于图像处理方法识别车道线时， 采用基于小波变换和并联多尺度 空洞卷积模块 的分割网络提取公交专用车道线， 具体实现方式如下； 所述分割网络的左侧部分为编码器结构， 输入图像首先经过一个Double  Conv结构， 再 使用2×2卷积核对特征图进行最大池化操作， 最大池化操作后图像大小变为原来的一半， 但是同时特征的通道数增加一倍； 其中Double  Conv结构由两个标准的3 ×3卷积层和一个 ReLu激活函数层所组成， 在卷积的过程中对图像进行填充， 以保证卷积后图像的大小不变； 通过最大池化层之后， 将对图像进行第一层二维离散小波变换所得到的水平分量、 垂直分 量和近似分量使用连接的方式与特征图进 行结合， 共进 行了4次离散小波分解， 将 每次分解 得到的结果分别和不同阶段最大池化层得到的特征图进行连接， 将多尺度的信息进行特征 融合， 其中最大池化操作后面都连接一个Double  Conv结构； 编码器中共含有5个最大池化 层， 最后一次池化后未连接小波变换的结果， 直接得到一定大小的特征图， 接下来使用并联 级的多尺度空洞卷积模块对一定大小的特征图进行处理， 由此获得多尺度特征和全局特 征， 从而更好的对不同形状结构的车道标记线 进行分割； 在解码器阶段， 使用3 ×3大小的卷积核进行反卷积操作进行上采样来逐步恢 复特征图 的分辨率， 并使用跳跃连接结构与编码器中相 应的特征进行加和， 从而对获得的较低层级权　利　要　求　书 1/4 页 2 CN 114898296 A 2的特征进 行精细化分割； 在经过5次上采样后特征图分辨率恢复到与输入图像相同的大小， 最后使用Sigmoid非线性激活函数将最终预测概率范围控制在0和1之间， 概率大于等于0.5 的像素分类为车道标记标线， 小于 0.5的分类为背景。 5.根据权利要求1所述的基于毫米波雷达与视觉融合的公交车道占用检测方法， 其特 征在于： 所述 步骤2的具体实现方式如下； 毫米波雷达通过计算接收信号与发射信号的多普勒频移， 来提供探测目标的相对距离 R、 相对速度V以及方位角 α 三个数据信息， 对 雷达目标信号进 预处理， 滤除空目标信号、 无效 信号和静止信号； 令摄像头坐标系为Oc‑XcYcZc， 以摄像头光心为原点， 以主光轴为Zc轴， Xc轴指向地面； 令 雷达坐标系为Or‑XrYrZr， 以雷达几何中心为原点， Zr轴垂直于发射面， Xr轴指向雷达左侧； 三 维世界坐标系为Ow‑XwYwZw， 图像二维平面 坐标系为Op‑XpYpZp； 雷达信号与雷达坐标系的转换关系如下公式： 雷达设备在 距离世界坐标系高度为H， I和L 分别为Ow与Or在Xr方向和Zr方向的偏移量， 雷 达坐标系与世界坐标系的转换关系如下公式： R为相机外部参数旋转矩阵， t为相机外部参数平移向量， 相机坐标系与世界坐标系的 转换关系如下公式： f为摄像头焦距， (dx， dy)为像素的物理尺寸， (Xp0， Yp0)为摄像机主点偏移量； 则图像坐 标系与相机坐标系和图像坐标系的转换关系如下公式： 令P为投影矩阵， 则P表示如下： 雷达点代表了探测物体的位置和速度信息， 通过雷达点可预估探测物体的候选范围； 通过先验知识可知， 常见交通对象 的最大高度为hm， 最大宽度为wm， 最大长度为lm， 雷达点有权　利　要　求　书 2/4 页 3 CN 114898296 A 3