(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210550682.8 (22)申请日 2022.05.18 (71)申请人 重庆长安汽车股份有限公司 地址 400020 重庆市江北区建新 东路260号 (72)发明人 张德泽　单玉梅　 (74)专利代理 机构 重庆博凯知识产权代理有限 公司 50212 专利代理师 项晓丹 (51)Int.Cl. G06T 7/80(2017.01) G06V 10/44(2022.01) G06V 10/75(2022.01) (54)发明名称 基于关键点的车载单目相机外参自动标定 系统及标定方法 (57)摘要 本发明公开了一种基于关键点的车载单目 相机外参自动标定系统及标定方法， 该系统包括 特征点提取匹配模块， 用于提取连续帧图像中的 特征点并对其进行匹配； 相对运动解算模块基于 特征点对， 采用对极几何方法求解连续帧之间的 相对运动； 单应性求解模块根据单应性关系筛选 出匹配高的路面特征点； 外参求解模块求解相机 外参； 结果输出模块在达到固定量后求取均值并 最终输出。 该方法包括： 初始值设定； 特征点提取 匹配； 求解相对运动； 路面特征点提取匹配； 单应 性求解； 外参解算； 累积输 出。 本发明无需依 赖标 定物， 车道线或其他信息和人工参与， 即可修正 由于车辆震动或安装偏差导致的相机小幅度偏 转， 同时还适用于侧视相机标定 。 权利要求书4页 说明书11页 附图4页 CN 114842093 A 2022.08.02 CN 114842093 A 1.基于关键点的车 载单目相机 外参自动标定系统， 其特 征在于， 包括： 特征点提取匹配模块， 用于提取 连续帧图像中的特 征点并对其进行匹配； 相对运动解算模块， 用于基于特征点对， 采用对极几何方法求解连续帧之间的相对运 动； 单应性求解模块， 用于提取位于路面的特征点， 并根据单应性关系筛选出匹配高的路 面特征点； 外参求解模块， 用于基于连续帧相对运动与路面特 征点对， 求 解相机外参； 结果输出模块， 用于累积外参求解模块获得的结果， 并在达到固定量后求取均值并最 终输出。 2.一种基于关键点的车载单目相机外参自动标定方法， 其特征在于， 采用如权利要求1 所述的基于关键点的车 载单目相机 外参自动标定系统， 包括以下步骤： 步骤1)初始值设定； 步骤2)特征点提取匹配， 所述特征点提取匹配模块提取连续帧图像 中的特征点并对其 进行匹配； 步骤3)求解相对运动， 所述相对运动解算模块基于特征点对， 采用对极几何方法求解 连续帧之间的相对运动； 步骤4)路面特 征点提取匹配， 所述单应性 求解模块对路面特 征点进行提取与匹配； 步骤5)单应性 求解， 所述单应性 求解模块进行 单应性求解； 步骤6)外参解算， 所述外参求解模块基于连续帧相对运动与路面特征点对， 求解相机 外参； 步骤7)累积输出， 所述结果输出模块累积外参求解模块获得的结果， 并在达到固定量 后求取均值并最终输出。 3.根据权利要求2所述的基于关键点的车载单目相机外参自动标定方法， 其特征在于， 步骤1)中初始值的设定包括相机安装位置世界坐标的设定和相机欧拉角初始值的设定； 相机安装位置的设定方法为： 以车辆后轴中心下方地面为世界坐标系的原点， 车辆前 向为世界坐标系X轴的正方向， 垂 直于地面向上的方向为世界坐标系Z轴的正方向建立世界 坐标系， 并根据建立的世界坐标系确定相机安装位置的世界坐标； 相机欧拉角初始值的设定方法为： 采用上一 次相机欧拉角的已知状态值作为相机欧拉 角的初始值。 4.根据权利要求3所述的基于关键点的车载单目相机外参自动标定方法， 其特征在于， 步骤1)中的初始值设定还包括相机的连续帧图像Im1与Im2、 车身速度与车身角速度， 连续 帧图像均带时间戳， 通过两帧连续帧图像的时间戳计算得到两 帧相机图像之间的时间差， 并通过求 解两帧相机图像之间的对极约束确定其相对运动； 当车身角速度大于1度/秒时， 认为车辆未进行直线运动， 则退 出计算。 5.根据权利要求4所述的基于关键点的车载单目相机外参自动标定方法， 其特征在于， 步骤2)中， 所述特征点提取匹配模块在提取连续帧图像中的特征点并对其进行匹配时， 先 对输入的两 帧图像进行角点检测， 然后提取出图像中的角点与其特征向量， 再基于特征向 量间的汉明距离对特 征点进行匹配， 最后保留所有匹配成功的特 征点对。 6.根据权利要求5所述的基于关键点的车载单目相机外参自动标定方法， 其特征在于，权　利　要　求　书 1/4 页 2 CN 114842093 A 2步骤2)中， 采用ORB角点检测法对连续帧图像中的特征点进 行提取， 且每帧图像提取的特征 点数小于等于 3000个； 基于特征向量间的汉明距离对特征点进行匹配， 并选取匹配度最高的前30％作为最终 的匹配结果。 7.根据权利要求6所述的基于关键点的车载单目相机外参自动标定方法， 其特征在于， 步骤3)中求解相 对运动时， 首先筛选出步骤2)中匹配度高的特征点对， 然后基于该特征点 对求解两帧图像之 间的本质矩阵， 最后基于本质矩阵求解两帧图像之 间的相对旋转矩阵与 相对位移向量。 8.根据权利要求7所述的基于关键点的车载单目相机外参自动标定方法， 其特征在于， 步骤3)中， 若提取到的特征点对小于8对时， 则退出计算， 若提取到的特征点对大于等于8对 时， 则采用五点法求解两帧图像之 间的本质矩阵， 完成本质矩阵计算后， 基于本质矩阵计算 出两帧图像之间的相对旋转矩阵和相对平 移向量。 9.根据权利要求8所述的基于关键点的车载单目相机外参自动标定方法， 其特征在于， 步骤3)中还需判断相机的相 对运动状态估计是否正确， 若正确则执行步骤4)， 若不正确则 退出计算； 判断相机的相对运动状态估计是否正确的方法为： 1)基于初始欧拉角[ω0, θ0, τ0]计算其初始旋转矩阵Re0： 2)计算基于初始值的相对平移向量tc0； 对于平动状态的车辆， 其连续两帧图像之间的 归一化平移向量为tcar＝[‑1,0,0]， 则根据坐标系旋转平移变换关系， 相机的相对平移向量 tc0为： tc0＝Re0*tcar； 3)比较估计值的相对平移向量tc与初始值的相对平移向量tc0之间的距离， 设定阈值， 若估计值的相对平移向量tc与初始值的相对平移向量tc0之间的距离大于阈值， 则退出计 算， 若估计值的相对平移向量tc与初始值的相对平移向量tc0之间的距离小于等于阈值， 则 执行步骤4)。 10.根据权利要求9所述的基于关键点的车载单目相机外参自动标定方法， 其特征在 于， 步骤4)中在对路面特征点进行提取与匹配时， 采用限制特征点提取区域的方法减少非 路面特征点的数量， 并基于车身运动信息和 局部图像信息进行 特征点的匹配。 11.根据权利要求10所述的基于关键点的车载单目相机外参自动标定方法， 其特征在 于， 设定相机画面的宽度为W， 高度为H， 则前视相机和后视相机的特征点提取区域为 侧视相机的特 征点提取区域 为 12.根据权利要求11所述的基于关键点的车载单目相机外参自动标定方法， 其特征在 于， 步骤4)中基于车身运动信息和局部图像信息进行特征点的匹配的方法为： 基于初始输 入值建立相 机模型， 随后将第一帧图像中的路面特征点像素坐标转换为世界坐标， 并基于 车身运动信息预测同一特征点在第二帧图像中的位置， 同时以第一帧图像中的特征点为中 心， 以第一设定长度为边长截取第一帧图像正方形局部图像作为待匹配图片， 完成位置预权　利　要　求　书 2/4 页 3 CN 114842093 A 3