(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211058260.5 (22)申请日 2022.08.31 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 管贻生　潘雅灵　张宏　何力　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 高棋 (51)Int.Cl. G06T 7/33(2017.01) G06T 7/73(2017.01) (54)发明名称 一种基于视觉传感器的机器人自我定位精 度评估方法及系统 (57)摘要 本发明公开了一种基于视觉传感器的机器 人自我定位精度评估 方法及系统， 方法包括以下 步骤： S1： 采集移动机器人的运动数据并录制为 ROS包格式； S2： 提取录制数据， 将RGB图像和深度 图像进行融合， 得到当前时间戳下的点云信息； S3： 利用每帧RGB图像计算二维信息熵或将步骤 S2中得到的点云信息转换为全局描述符， 通过搜 索算法找到重新访问的样本对并进行合并， 得到 样本对数据集； S4： 通过对样本对数据集进行访 问得到样本对数据集的局部位移向量、 点集误 差； S5： 收集在当前录制环境下的估计轨迹数据； S6： 将数据离线配准对， 随机选择配准对， 并重复 运行以计算样本的误差， 该误差为机器人轨迹的 误差。 本发明通过低评估成本的视觉传感器， 实 现了机器人的自我定位精度评估。 权利要求书2页 说明书6页 附图1页 CN 115471531 A 2022.12.13 CN 115471531 A 1.一种基于 视觉传感器的机器人自我定位精度评估方法， 其特 征在于， 包括以下步骤： S1： 利用视 觉传感器采集移动机器人的运动数据， 并将数据录制为ROS包格式； S2： 从ROS包中提取录制数据， 将录制数据中相同时间戳的RGB图像和深度图像进行融 合， 得到当前时间戳下的点云信息； S3： 利用录制数据中每帧RGB图像计算二维信息熵或将步骤S2中得到的点云信息转换 为全局描述符， 通过搜索算法找到重新访问的样本对， 并对样本对进 行合并处理， 得到样本 对数据集； S4： 通过对样本对数据集进行访问得到样本对数据集的局部位移向量、 点 集误差； S5： 利用SLAM算法在线或离线的收集在当前录制环境下的估计轨 迹数据； S6： 将样本对数据集的局部位移向量、 点集误差与所述估计轨迹数据进行组合得到离 线配准对， 随机 选择配准对， 并重复运行以计算样本的误差， 该误差为机器人轨 迹的误差 。 2.根据权利要求1所述的一种基于视觉传感器的机器人自我定位精度评估方法， 其特 征在于， 步骤S1中所述视觉传感器设置在移动机器人上， 所述移动机器人采用随机游走或 定点导航方式的运动。 3.根据权利要求2所述的一种基于视觉传感器的机器人自我定位精度评估方法， 其特 征在于， 所述视 觉传感器包括RGB ‑D相机、 单目相机、 双目相机 。 4.根据权利要求1所述的一种基于视觉传感器的机器人自我定位精度评估方法， 其特 征在于， 每个时间戳下 的点云信息包括若干 帧点云数据， 每 帧点云数据提取多个邻域内近 似特征的最大点集或直接进行下采样， 分别筛选角点和平面点， 剔除由于运动畸变导致的 不稳定的点。 5.根据权利要求1所述的一种基于视觉传感器的机器人自我定位精度评估方法， 其特 征在于， 步骤S3中还包括通过回环检测的方法找到重新访问的样本对， 所述回环检测的方 法包括： 基于ORB ‑SLAM2局部地图的提取 方法、 基于深度学习的回环检测算法。 6.根据权利要求1所述的一种基于视觉传感器的机器人自我定位精度评估方法， 其特 征在于， 通过对样本对数据集进行访问得到样本对数据集的局部位移向量具体步骤为： 确定特征提取模型， 将步骤S2中得到的每帧点云数据作为输入数据， 进行初步特征提 取； 将初步特 征提取得到的点云信息进行最近邻搜索找到粗配准 点对； 采用ICP系列算法对粗配准点对进一步配准， 基于初始化配准矩阵进行优化， 得到两组 点云之间的精确配准关系即精准配准矩阵， 精准配准矩阵的平 移向量为局部位移向量； 计算精准配对后两组点云的内点对的平均距离， 若大于预设的阈值则再次匹配或选择 放弃采集； 对于单帧点云中的每个点， 计算该点邻域的熵为s1； 通过配准矩阵将另一帧点云转换 到该帧点云上， 计算此时该点邻域的熵 为s2， 该点的不确定性s为s2 ‑s1.此时该帧点云的点 的不确定为所有点的s值的平均值∈pi， 即得到点 集误差。 7.根据权利要求6所述的一种基于视觉传感器的机器人自我定位精度评估方法， 其特 征在于， 所述特 征提取模型包括有： FPFH算法模型、 3ds mooth算法模型。 8.根据权利要求1所述的一种基于视觉传感器的机器人自我定位精度评估方法， 其特 征在于， 步骤S5中所述利用SLAM算法包括有： AMCL算法、 Catagrapher算法、 LOAM系列算法、权　利　要　求　书 1/2 页 2 CN 115471531 A 2ORB‑SLAM系列算法。 9.根据权利要求1所述的一种基于视觉传感器的机器人自我定位精度评估方法， 其特 征在于， 步骤S6中误差的具体 计算为： 定义任意局部平移向量为Vx， 找到其对应时间戳的定位算法的轨迹的两个姿态， 定义 两个之间的平移向量为V y， 组成离线配准对(Vx， Vy)， 配准点云之间的点的不确定性的∈p， 计算公式为： ‑∈1+vy+∈2＝∈p1+vx‑∈p2 |vx+∈p|2＝|vy+∈|2 ∈1、 ∈2分别表示定位算法的轨迹的两个姿态的误差， ∈p1表示第一帧点云的点的不确 定数值； ∈p2表示第二帧点云的点的不确定数值， ∈＝∈2‑∈1表示两个定 位误差之差， ∈p＝ ∈p1‑∈p2， 表示帧点云的点的不确定数值之差； GLO算法的估计函数定义 为： gσ(∈)＝∑(vy+σ *z)2 σ 表示平均值， z表示高斯分布； 损失函数定位 lσ为： lσ＝(∑( νy+σ *z)2‑∑( νy+∈p)2)2。 10.一种基于视觉传感器的机器人自我定位精度评估系统， 其特征在于， 该系统包括： 存储器、 处理器， 所述存储器中包括一种基于视觉传感器的机器人自我定位精度评估方法 程序， 所述一种基于视觉传感器的机器人自我定位精度评估方法程序被所述处理器执行时 实现如下步骤： S1： 利用视 觉传感器采集移动机器人的运动数据， 并将数据录制为ROS包格式； S2： 从ROS包中提取录制数据， 将录制数据中相同时间戳的RGB图像和深度图像进行融 合， 得到当前时间戳下的点云信息； S3： 利用录制数据中每帧RGB图像计算二维信息熵或将步骤S2中得到的点云信息转换 为全局描述符， 通过搜索算法找到重新访问的样本对， 并对样本对进 行合并处理， 得到样本 对数据集； S4： 通过对样本对数据集进行访问得到样本对数据集的局部位移向量、 点 集误差； S5： 利用SLAM算法在线或离线的收集在当前录制环境下的估计轨 迹数据； S6： 将样本对数据集的局部位移向量、 点集误差与所述估计轨迹数据进行组合得到离 线配准对， 随机 选择配准对， 并重复运行以计算样本的误差， 该误差为机器人轨 迹的误差 。权　利　要　求　书 2/2 页 3 CN 115471531 A 3