(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210570115.9 (22)申请日 2022.05.24 (71)申请人 上海工程 技术大学 地址 200050 上海市长 宁区仙霞路3 50号 (72)发明人 李思嘉　姜晓燕　庄雨及　方志军　 高永彬　 (74)专利代理 机构 北京方圆嘉 禾知识产权代理 有限公司 1 1385 专利代理师 王月松 (51)Int.Cl. G06T 7/80(2017.01) G06V 10/44(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种单目视 觉里程计方法和系统 (57)摘要 本发明涉及一种单目视觉里程计方法和系 统。 该方法采用光流预测 网络获取光流图像， 并 在挑选得到第一特征点对后， 将图像序列数据输 入至深度预测网络得到深度信息图， 再将图像序 列数据输入至深度预测网络生成刚性光流； 接 着， 生成第二特征点对后， 结合刚性光流作为约 束条件训练光流预测 网络； 然后， 采用训练好的 光流预测网络获取图像序列数据中相邻两帧图 像间的光流， 并在挑选得到第三特征点对后， 从 图像序列数据中随机挑选部分帧， 根据所述深度 信息图和第三特征点对通过PNP或对极几何方式 求解位姿， 剩余部分帧根据所述深度信息图和第 二特征点对通过PNP或对极几何方式求解位姿， 以通过融合传统几何和深度学习的方式使得精 度更高、 鲁棒 性更强。 权利要求书2页 说明书7页 附图4页 CN 114972533 A 2022.08.30 CN 114972533 A 1.一种单目视 觉里程计方法， 其特 征在于， 包括： 获取图像序列数据； 采用光流预测网络获取所述图像序列数据中相邻 两帧图像间的光流， 并根据 前后光流 一致性挑选得到第一特 征点对； 将所述图像序列数据输入至第 一深度预测网络得到深度信 息图； 所述第 一深度预测网 络包括： 深度预测 子网络和位姿估计网络； 所述深度预测 子网络采用U ‑Net编码器 ‑解码器 结构； 所述 位姿估计网络采用ResNet18网络结构； 将获取的图像序列数据输入至第二深度预测网络生成3D场景流， 并将所述3D场景流进 行平面投影得到2D光流， 将所述2D光流命名为刚性光流； 所述第二深度预测网络包括： 新深 度预测网络和位姿估计网络； 所述 新深度预测网络为优化后的深度预测子网络； 采用特征点法提取所述图像序列 数据中特征点， 并采用快速最近邻匹配算法基于所述 特征点生成第二特 征点对； 获取第二特征点对中像素点的匹配点和第 一特征点对中像素点的匹配点， 并确定所述 第二特征点对中像素点的匹配点和所述第一特征点对中像素点的匹配点间的欧式距离， 将 所述欧式距离作为第一约束条件； 确定所述刚性光流和所述光流A间的误差， 并将所述误差作为第二约束条件； 其中， 将 光流网络生成的光 流定义为光流A； 基于所述第一约束条件和所述第二约束条件生成总约束条件； 基于所述总约束条件训练所述 光流预测网络， 得到训练好的光 流预测网络； 采用所述训练好的光流预测网络获取所述图像序列数据中相邻 两帧图像间的光流， 并 根据前后光 流一致性挑选得到第三特 征点对； 从图像序列数据中随机挑选部分帧， 根据所述深度信息图和第三特征点对通过PNP或 对极几何方式求解位姿， 剩余部分帧根据所述深度信息图和第二特征点对通过PNP或对极 几何方式求 解位姿。 2.根据权利要求1所述的单目视觉里程计方法， 其特征在于， 所述采用光流预测网络获 取所述图像序列数据中相 邻两帧图像间的光流， 并根据前后光流一致性挑选得到第一特征 点对， 具体包括： 采用特征金字塔网络提取 所述图像序列数据的特 征； 将提取得到的特征输入至光流估计器得到光流图像， 并根据前后 光流一致性挑选得到 第一特征点对。 3.根据权利要求2所述的单目视觉里程计方法， 其特征在于， 所述特征金字塔网络的层 数为8， 每一层均包 含一个卷积层。 4.一种单目视 觉里程计系统， 其特 征在于， 包括： 单目相机， 用于获取图像序列数据； 第一特征点对生成模块， 用于采用光流预测网络获取所述图像序列 数据中相邻 两帧图 像间的光 流， 并根据前后光 流一致性挑选得到第一特 征点对； Q模块， 用于将所述图像序列 数据输入至深度 预测网络得到深度信 息图； 所述深度 预测 网络包括： 深度预测 子网络和位姿估计网络； 所述深度预测 子网络采用U ‑Net编码器 ‑解码 器结构； 所述 位姿估计网络采用ResNet18网络结构；权　利　要　求　书 1/2 页 2 CN 114972533 A 2W模块， 用于将获取的图像序列数据输入至深度预测网络生成3D场景流， 并将所述3D场 景流进行平面投影得到2D光 流， 将所述2D光 流命名为刚性 光流； 第二特征点对生成模块， 用于采用特征点法提取所述图像序列数据中特征点， 并采用 快速最近邻匹配算法基于所述特 征点生成第二特 征点对； 第一约束条件确定模块， 用于获取第 二特征点对中像素点的匹配点和第 一特征点对中 像素点的匹配点， 并确定所述第二特征点对中像素点的匹配点和所述第一特征点对中像素 点的匹配点间的欧式距离， 将所述欧式距离作为第一约束条件； 第二约束条件确定模块， 用于确定所述刚性光流和所述光流间的误差， 并将所述误差 作为第二约束条件； 总约束条件确定模块， 用于基于所述第 一约束条件和所述第 二约束条件生成总约束条 件； 训练模块， 用于基于所述总约束条件训练所述光流预测网络， 得到训练好的光流预测 网络； 第三特征点对生成模块， 用于采用所述训练好的光流预测网络获取所述图像序列 数据 中相邻两帧图像间的光 流， 并根据前后光 流一致性挑选得到第三特 征点对； 相机位姿确定模块， 用于从图像序列数据中随机挑选部分帧， 根据所述深度信息 图和 第三特征点对通过PNP或对极几何方式求解位姿， 剩余部分帧根据所述深度信息图和第二 特征点对通过PNP或对极几何方式求 解位姿。 5.根据权利要求4所述的单目视觉里程计系统， 其特征在于， 所述第 一特征点对生成模 块包括： 特征提取单元， 用于采用特 征金字塔网络提取 所述图像序列数据的特 征； 第一特征点对生成单元， 用于将提取得到的特征输入至光流估计器得到光流图像， 并 根据前后光 流一致性挑选得到第一特 征点对。 6.根据权利要求5所述的单目视 觉里程计系统， 其特 征在于， 还 包括： R模块， 用于获取真实位姿信息， 并用于当所述真实位姿信 息与上述相机位姿确定模块 所生成的位姿结果间的差值超出 预设范围时， 重新从场景帧数中获取挑选帧数。权　利　要　求　书 2/2 页 3 CN 114972533 A 3