(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210393779.2 (22)申请日 2022.04.15 (71)申请人 北京航空航天大 学杭州创新研究院 地址 310052 浙江省杭州市滨江区长河街 道创慧街18号 (72)发明人 于晓龙　韩冰　任涛　杨帆　 牛建伟　侯人鸾　郭昱亮　马群　 (74)专利代理 机构 北京国坤专利代理事务所 (普通合伙) 11491 专利代理师 赵红霞 (51)Int.Cl. B25J 9/16(2006.01) G06V 20/10(2022.01) G06V 10/26(2022.01) G06T 7/50(2017.01)G06T 17/00(2006.01) (54)发明名称 一种基于视觉感知和空间认知神经机制的 机器人导航系统 (57)摘要 本发明属于机器人导航技术领域， 公开了一 种基于视觉感知和空间认知神经机制的机器人 导航系统， 包括： 图像采集模块、 信息采集模块、 中央控制模块、 图像预处理模块、 三维模型构建 模块、 定位模块、 标注模块、 行进方向判断模块、 遮挡判断模块、 姿态调整模块、 路径规划模块、 导 航控制模块以及显示模块。 本发 明将视觉信息与 空间模型向结合， 全面清晰的掌握机器人所处的 位置与终点的空间关系 与距离信息； 同时结合视 觉图像进行姿态、 行进方向以及前方障碍物判 断， 并利用神经网络模型基于相关数据进行路径 规划与导航， 在不需要校准的基础上， 快速、 准确 的进行机器人的姿态调整、 定位以及路径规划， 提高了导 航的效率与精度。 权利要求书3页 说明书7页 附图2页 CN 114905506 A 2022.08.16 CN 114905506 A 1.一种基于视觉感知和 空间认知神经机制的机器人导航系统， 其特征在于， 所述基于 视觉感知和空间认知神经机制的机器人导 航系统包括： 标注模块， 与中央控制模块连接， 用于基于确定的机器人的当前坐标数据以及目标地 点的坐标数据在构建的当前区域三维模型中进行机器人出发点与终点的标注； 同时用于将 机器人虚拟化标志标注于所述 三维模型中； 行进方向判断模块， 与中央控制模块连接， 用于基于标注出发点与终点的三维模型判 断机器人的行进方向； 遮挡判断模块， 与中央控制模块连接， 用于基于预处理后的图像结合标注出发点与终 点的三维模型判断机器人行进方向上是否存在障碍物； 并将障碍物标注于构建的三 维模型 中； 姿态调整模块， 与中央控制模块连接， 用于基于判断的机器人的行进方向进行机器人 姿态的调整； 路径规划模块， 与中央控制模块连接， 用于利用神经网络模型基于预处理后的机器人 前后左右图像结合标注有出发点、 终点以及 障碍物的区域三维模型进行机器人的路径规 划； 导航控制模块， 与中央控制模块连接， 用于将路径规划结果标注于构建的三维模型中 控制机器人 行进， 并在行进过程中实时进行机器人的行进方向、 姿态的调整。 2.如权利要求1所述基于视觉感知和 空间认知神经机制的机器人导航系统， 其特征在 于， 所述基于 视觉感知和空间认知神经机制的机器人导 航系统还 包括： 图像采集模块， 与中央控制模块连接， 用于利用设置于机器人上的摄像设备采集机器 人前后左右的图像； 信息采集模块， 与中央控制模块连接， 用于进行机器人所处区域的环境图像以及构造 数据采集； 中央控制模块， 与图像采集模块、 信息采集模块、 图像预处理模块、 三维模型构建模块、 定位模块、 标注模块、 行进方向判断模块、 遮挡判断模块、 姿态调整模块、 路径规划模块、 导 航控制模块以及显示模块连接， 用于利用单片机或控制器控制各个模块 正常工作； 图像预处理模块， 与中央控制模块连接， 用于对采集的机器人前后左右 的图像进行预 处理； 三维模型构建模块， 与中央控制模块连接， 用于基于采集的相关图像构建当前区域的 三维模型； 定位模块， 与中央控制控制模块连接， 用于确定机器人的当前坐标数据以及目标地点 的坐标数据； 显示模块， 与中央控制模块连接， 用于利用显示器显示标注有出发点、 终点、 路径规划 结果、 机器人虚拟化标志的三维模型以及采集的机器人 前后左右的图像。 3.如权利要求2所述基于视觉感知和 空间认知神经机制的机器人导航系统， 其特征在 于， 所述信息采集模块包括： 周边环境图像采集单 元， 用于利用摄 像设备采集机器人 所处区域的环境图像； 区域建筑数据采集单 元， 用于获取机器人 所处区域的建筑数据以及构造数据。 4.如权利要求2所述基于视觉感知和 空间认知神经机制的机器人导航系统， 其特征在权　利　要　求　书 1/3 页 2 CN 114905506 A 2于， 所述图像预处 理模块对 采集的机器人 前后左右的图像进行 预处理包括： 利用如下清晰度处 理模型对 采集的机器人 前后左右的图像进行去噪增强处 理： 其中， m×n表示机器人摄像设备采集图像的像素； B(I， J)表示机器人摄像设备的采集 图像的像素灰度矩阵， 0≤I≤m ‑1， 0≤J≤n ‑1； Bdif表示机器人摄像设备采集图像的灰度差 值的1/2； Bmax表示机器人摄像设备采集图像的最大灰度值； Bmin表示机器 人摄 像设备采集图像的最小灰度值； C表示机器人摄 像设备采集图像的灰度图像的清晰度。 5.如权利要求1所述基于视觉感知和 空间认知神经机制的机器人导航系统， 其特征在 于， 所述遮挡判断模块基于预 处理后的图像结合标注出发点与终点的三 维模型判断机器人 行进方向上 是否存在障碍物包括： 首先， 获取确定的机器人行进方向， 结合标注出发点与终点的三维模型采集机器人面 向终点时视 觉图像； 其次， 基于所述三维模型确定终点位置是否具备物体或建筑； 同时判断所述采集的机 器人面向终点时视 觉图像中是否存在终点 位置所具备的物体或者建筑； 最后， 基于采集的机器人面向终点 时视觉图像中是否存在终点位置所具备的物体或者 建筑判断结果判断机器人 行进方向上 是否存在障碍物。 6.如权利要求5所述基于视觉感知和 空间认知神经机制的机器人导航系统， 其特征在 于， 所述基于采集的机器人面向终点时视觉图像中是否存在终点位置所具备的物体 或者建 筑判断结果判断机器人 行进方向上 是否存在障碍物包括： 当采集的机器人面向终点 时视觉图像中不存在终点位置所具备的物体或者建筑时， 则 判断机器人 行进方向上存在障碍物； 所述基于采集的机器人面向终点时视觉图像中是否存在终点位置所具备的物体或者 建筑判断结果判断机器人 行进方向上 是否存在障碍物还 包括： 当采集的机器人面向终点 时视觉图像中存在终点位置所具备的物体或者建筑时， 判断 所述视觉图像中的物体或者建筑存在遮挡区域， 若存在遮挡区域， 则判断机器人行进方向 上存在障碍物。 7.如权利要求6所述基于视觉感知和 空间认知神经机制的机器人导航系统， 其特征在 于， 所述若存在当采集的机器人面向终点时视觉图像中存在终点位置所具备的物体 或者建 筑时， 判断所述视 觉图像中的物体或者建筑存在遮挡区域包括： 利用几何计算方法结合 三维模型确定所述终点 位置设置的物体或者建筑的深度信息； 基于所述深度信 息结合三维模型构建一个覆盖所述物体或者建筑的圆柱， 采集结合计 算方法判断所述物体或者建筑所在的圆柱与其他建筑或构造所在的圆柱是否有重合或一 定范围内是否有其 他圆柱； 若述物体或者建筑所在的圆柱与其他建筑或构造所在的圆柱有重合或一定范围内有 其他圆柱， 则判断机器人 行进方向上存在障碍物。权　利　要　求　书 2/3 页 3 CN 114905506 A 3