(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211031934.2 (22)申请日 2022.08.26 (71)申请人 江南大学 地址 214122 江苏省无锡市滨湖区蠡湖大 道1800号 (72)发明人 万泽青　李瑞峰　王莹莹　周志强　 付勇　黄鑫　吴炜　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 余俊杰 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06T 7/66(2017.01) G06V 10/25(2022.01)G06V 10/762(2022.01) G06V 10/80(2022.01) H04W 4/02(2018.01) (54)发明名称 一种多目标情况下的对于单个人员跟踪感 知与识别方法 (57)摘要 本发明公开了一种多目标情况下的对于单 个人员跟踪感知与识别方法， 包括： Fair MOT多目 标跟踪算法在人员跟踪方面的应用； 通过ZED相 机获取目标对象的点云滤波技术， 进而得到相机 系的三维坐标点； 由相机得到的位置数据和UWB 传感器的位置数据进行基于多重卡尔曼滤波的 多传感器数据融合， 得到最后的人员目标位置； 基于ZED相机与U WB传感器， 运用原创跟踪策略对 目标ID进行跟踪， 其中也包括目标丢失情况下的 目标预测、 找回与重识别算法。 本发明的人员跟 踪算法可以通过少许的传感器达到更好的跟踪 效果， 在目标跟踪领域能够得到较好的应用。 本 发明所采用的多重卡尔曼滤波数据融合的方式 也可为多传感器数据融合 提供案例借鉴。 权利要求书2页 说明书6页 附图3页 CN 115439504 A 2022.12.06 CN 115439504 A 1.一种多目标情况下的对于单个人员跟踪感知与识别方法， 其特征在于， 该方法是一 种基于FairMOT多目标跟踪算法， 通过ZED相机与UWB传感器， 在多单位情况下， 对单个目标 进行识别跟踪的方法， 包括如下步骤： S1、 数据获取： 通过ZED相机获取目标图像， 通过UWB 传感器获取UWB信标与基站的距离与角度信息； S2、 数据预处 理： 将ZED相机获取的图像通过FairMOT多目标识别跟踪算法处理， 得到各个目标在图像中 的位置， 并且框选出来， 同时每个目标会获得一个ID； 然后， 取追踪目标的ID的框， 从ZED相 机的点云数据中获取框内点云； 对点云数据中的一些置信度低的数据进行剔除， 同时对超 出测量范围的数据也进行删除操作； 再经过直通滤波、 统计学滤波后获得目标点的稠密点 云信息以及背景点的稀疏点云信息； 对点云进行聚类操作， 将属于稀疏点的背景点从点云 集中剔除， 得到目标点云的稠密点云集； 最后， 对目标点云数据计算质心 点， 得到ZED相机的 跟踪目标对象的世界坐标点； 将UWB传感器得到的数据信息通过低通滤波和滑窗滤波进行预处理， 得到基站与信标 之间的距离与角度数据， 再将距离和角度数据转换成二维的世界坐标点； S3、 数据融合： 在得到ZED相机与UWB传感器处理得到的数据后， 将ZED相机得到的位置数据和UWB传感 器的位置数据进行基于多重卡尔曼 滤波的多传感器数据融合， 得到最后的人员目标位置； S4、 目标跟踪： 得到目标点数据后， 需要对追踪目标进行确定以及对其后续的跟踪， 故需要进行初始 化操作。 2.根据权利要求1所述的多目标情况下的对于单个人员跟踪感知与识别方法， 其特征 在于， 步骤S1中的ZED相机得到当前图像的RGBD信息以及点云数据， 配有C++、 Python及 ROS 接口； UWB传感器以100HZ的频率实时返回信标距离基站距离及角度信息， UWB传感器的有效 测量范围为 ‑75°到75°。 3.根据权利要求1所述的多目标情况下的对于单个人员跟踪感知与识别方法， 其特征 在于， 步骤S2中应用FairMOT算法时， ZED相机获取当前目标图像， 利用DCNv2模型对人员进 行识别， 得到所有目标人员的图像位置坐标， 并框选出来， 对各目标进行ID编号， 并对后续 图像中的人员目标进行ID匹配。 4.根据权利要求1所述的多目标情况下的对于单个人员跟踪感知与识别方法， 其特征 在于， 步骤S3中进行基于多重卡尔曼滤波的多传感器数据融合， 具体为： 将ZED相机得到的 世界坐标点与UWB得到的世界坐标点融合， 在x维度上， 将ZED相机与UWB传感器的数据多重 卡尔曼滤波处理； 而在y维度上， 只取ZED相机的数据， 采用卡尔曼滤波处理， 从而得到一个 可靠的目标世界坐标点。 5.根据权利要求1所述的多目标情况下的对于单个人员跟踪感知与识别方法， 其特征 在于， 步骤S4中对于人员跟踪技 术的初始化操作， 具体为： S4‑1、 对跟踪目标ID初始化， 在第一幅图像数据接收后， 有多个目标的情况下， 会将与 UWB数据点 最近的目标ID设定为初始 跟踪目标； S4‑2、 考虑到目标丢失与重识别的特殊情况， 跟踪ID有可 能会发生改变， 需要创建一个权　利　要　求　书 1/2 页 2 CN 115439504 A 2跟踪目标ID的容器， 以一定的优 先级， 跟踪 此容器中的所有目标， 而 此容器中的ID更新将会 由丢失找 回、 重新识别时， 再添加新的目标ID信息； 其中， 一定的优先级指最先放到跟踪目 标ID容器中的目标优先级最高， 最新的目标ID优先级最低， 跟踪永远先选择与优先级最高 的目标进行匹配； S4‑3、 将追踪的目标ID告知目标 数据处理部分。 6.根据权利要求1所述的多目标情况下的对于单个人员跟踪感知与识别方法， 其特征 在于， 在步骤S4的目标跟踪过程中， 当出现FairMOT丢帧或目标暂时丢失的情况时， 这时需 要对目标进行 预测处理， 通过历史的图像点云信息， 推测出丢帧情况 下的目标图像位置 。权　利　要　求　书 2/2 页 3 CN 115439504 A 3