(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210550784.X (22)申请日 2022.05.18 (71)申请人 斯坦德机器人 （深圳） 有限公司 地址 518000 广东省深圳市宝安区西乡街 道南昌社区航城大道华丰国际机器人 产业园F栋二层 (72)发明人 宋锦涛　段斌　廖金辉　林嘉煌　 李俊宏　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 冯筠 (51)Int.Cl. G06V 20/56(2022.01) G06N 20/00(2019.01) G06V 10/25(2022.01)G06V 10/44(2022.01) (54)发明名称 一种叉车叉取物检测定位系统及方法 (57)摘要 本发明公开了一种叉车叉取物检测定位系 统， 设置于 叉车上， 包括： 安装于叉车的带叉的一 侧的第一采集器和位于其水平方向上的第二采 集器， 以及安装于叉车上且分别与第一采集器及 第二采集器连接的视觉边缘处理器， 以获取第一 采集器及第二采集器采集的外界RGB图像及外界 深度图像， 利用深度学习模型提取图像特征， 对 外界RGB图像进行叉取物检测， 获得对应的叉取 物的预测框， 记录叉取物的类别信息、 预测框坐 标信息及置信度信息， 并根据所需目标叉取物的 类别信息及置信度信息进行预测框的选取， 根据 选取获得的预测框坐标信息结合外界深度图像 的点云计算所需目标叉取物相对于第二采集器 的相对位姿关系。 本发明还公开了一种叉车叉取 物检测定位方法。 权利要求书2页 说明书7页 附图4页 CN 114898317 A 2022.08.12 CN 114898317 A 1.一种叉 车叉取物检测定位系统， 设置 于叉车上， 其特征在于， 包括： 第一采集器， 安装于叉 车的带叉的一侧， 用于采集叉 车进叉时的外界RGB图像； 第二采集器， 安装于叉车的带叉的一侧， 并位于所述第 一采集器的水平方向上， 用于采 集叉车进叉时的外界相对于叉 车的深度信息， 获取外界深度图像； 视觉边缘处理器， 安装于叉车上且分别与所述第一采集器及第二采集器连接， 用于获 取外界RGB图像及外界深度图像， 利用深度学习模型提取图像特征， 对外界RGB图像进行叉 取物检测， 获得对应的叉取物的预测框， 记录叉取物的类别信息、 预测框坐标信息及置信度 信息， 并根据所需目标叉取物的类别信息及置信度信息进行预测框的选取， 根据选取获得 的预测框坐标信息结合外界深度图像的点云计算所需目标叉取物相对于第二采集器的相 对位姿关系。 2.根据权利要求1所述的叉车叉取物检测定位系统， 其特征在于， 所述视觉边缘处理器 包括： 深度学习模块， 用于根据叉取物的图像建立深度学习模型， 并利用深度学习模型提取 图像特征， 对外界RGB图像进行叉取物检测， 获得对应的叉取物的预测 框， 输出叉取物的类 别信息、 预测框坐标信息及置信度信息； 存储模块， 用于记录并存储各叉取物于该外界RGB图像 中对应的叉取物的类别信息、 预 测框坐标信息及置信度信息作为该外界RGB图像的各 叉取物的相关信息 。 3.根据权利要求2所述的叉车叉取物检测定位系统， 其特征在于， 所述视觉边缘处理器 还包括： 点云位姿估计模块， 用于获取存储于所述存储模块中的该外界RGB图像的各叉取物 的 相关信息， 根据所需目标叉取物的类别信息及置信度信息进行预测框的选取， 根据选取获 得的预测框坐标信息结合外界深度图像的点云计算所需目标叉取物相对于第二采集器的 相对位姿关系。 4.根据权利要求3所述的叉车叉取物检测定位系统， 其特征在于， 所述点云位姿估计模 块包括： 框选单元， 用于根据所需目标叉取物的类别信息及置信度信息进行预测框的选取， 获 得对应的预测框坐标信息； 标定同步单元， 用于获取外界深度图像， 根据获得的对应的预测框坐标信息， 对第一采 集器和第二采集器进行内外参标定及时间同步， 将对应的预测框投影至 外界深度图像上； 预测点云获取单元， 用于截取对应的预测框投影至外界深度图像上的包含所需目标叉 取物的点云图像块， 对点云图像块进行二 值化处理， 获得目标点云块； 位姿估计单元， 用于对目标点云块进行位姿估计， 获取对应的所需目标叉取物相对于 第二采集器的定位信息 。 5.一种叉车叉取物检测定位方法， 应用于如权利要求1 ‑4任一项所述的叉车叉取物检 测定位系统， 其特 征在于， 包括以下步骤： 采集RGB图像： 第一采集器采集叉 车进叉时的外界RGB图像； 采集深度图像： 第二采集器采集叉车进叉时的外界相对于叉车的深度信息， 获取外界 深度图像； 获取图像： 视 觉边缘处理器获取 该外界RGB图像及外界深度图像；权　利　要　求　书 1/2 页 2 CN 114898317 A 2获取叉取物预测框： 视觉边缘处理器利用深度学习模型提取图像特征， 对外界RGB图像 进行叉取物检测， 获得对应的叉取物的预测框， 记录叉取物的类别信息、 预测框坐标信息及 置信度信息； 获取位姿信 息： 视觉边缘处理器根据 所需目标叉取物的类别信 息及置信度信 息进行预 测框的选取， 根据选取获得的预测框坐标信息结合外界深度图像的点云计算所需目标叉取 物相对于第二采集器的相对位姿关系。 6.根据权利要求5所述的叉车叉取物检测定位方法， 其特征在于， 所述获取位姿信 息的 步骤具体包括： 选取预测框： 视觉边缘处理器根据 所需目标叉取物的类别信 息及置信度信 息进行预测 框的选取， 获得对应的预测框坐标信息； 投影预测框： 视觉边缘处理器获取外界深度图像， 根据获得的对应的预测框坐标信 息， 对第一采集器和 第二采集器进 行内外参标定及时间同步， 将对应的预测框投影至外界深度 图像上； 获取目标点云块： 截取对应的预测框投影至外界深度图像上的包含所需目标叉取物的 点云图像块， 对点云图像块进行二 值化处理， 获得目标点云块； 获取定位信息： 对目标点云块进行位姿估计， 获取对应的所需目标叉取物相对于第二 采集器的定位信息 。 7.根据权利要求6所述的叉车叉取物检测定位方法， 其特征在于， 所述投影预测框的步 骤具体为： 视觉边缘处理器获取外界深度图像， 根据获得的对应的预测框坐标信息， 通过棋盘格 标定方法分别对第一采集器和 第二采集器进 行内参标定， 获取第一采集器的内参和第二采 集器的内参； 通过棋盘格标定法对第一采集器和第二采集器之间进行外参标定， 同步第一 采集器和第二采集器的消息时间戳以同步时间， 将对应的预测框投影至 外界深度图像上。 8.根据权利要求5所述的叉车叉取物检测定位方法， 其特征在于， 所述获取位姿信 息的 步骤后还 包括： 视觉边缘处理器将获得的对应的所需目标叉取物相对于第二采集器的定位信息发送 至叉车的中央处 理器以协助叉 取操作。权　利　要　求　书 2/2 页 3 CN 114898317 A 3