(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211106749.5 (22)申请日 2022.09.13 (71)申请人 湖南华诺星空电子技 术有限公司 地址 410205 湖南省长 沙市高新区文 轩路 27号麓谷企业广场B7栋 (72)发明人 罗鹏　何鑫　韩乃军　 (74)专利代理 机构 湖南兆弘专利事务所(普通 合伙) 43008 专利代理师 周长清 (51)Int.Cl. G01S 13/66(2006.01) G01S 13/86(2006.01) H04N 5/232(2006.01) G06T 7/277(2017.01) G06T 7/73(2017.01)G06V 10/25(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01) (54)发明名称 一种融合毫米波雷达与相机的区域目标跟 踪方法 (57)摘要 本发明公开了一种融合毫米波雷达与相机 的区域目标跟踪方法， 其步骤包括： 步骤S1:通过 雷达进行数据采集， 实时获取运动目标的信息； 步骤S2:通过相机进行图像信息采集， 使用深度 学习中的神经网络提取图像中感兴趣的目标区 域； 步骤S3:利用目标跟踪算法对视频中的目标 进行编号并跟踪;步骤S4:从运动的画面中提取 出移动的感兴趣目标； 步骤S5:将雷达目标和视 频目标进行融合； 步骤S6:对感兴趣目标进行持 续跟踪与警戒。 本发明具有原理简单、 操作简便、 精度更高等优点。 权利要求书2页 说明书8页 附图2页 CN 115184917 A 2022.10.14 CN 115184917 A 1.一种融合毫米波雷达与相机的区域目标跟踪方法， 其特 征在于， 其 步骤包括： 步骤S1:通过 雷达进行 数据采集， 实时获取运动目标的信息； 步骤S2:通过相机进行图像信息采集， 使用深度学习中的神经网络提取图像中感兴趣 的目标区域； 步骤S3:利用目标跟踪算法对视频中的目标进行编号并跟踪; 步骤S4:从运动的画面中提取 出移动的感兴趣目标； 步骤S5:将雷达目标和视频目标进行融合； 步骤S6:对感兴趣目标进行持续跟踪与警戒； 所述步骤S3中， 包括以下步骤： 步骤31： 给每 个视频目标分配ID号； 步骤32： 比较前后两帧的目标框， 对于每一个视频目标， 比较前后两帧目标框的重叠区 域， 若重叠区域较大， 则保留该ID号并更新目标框位置； 若重叠区域太小或无重叠区域， 则 根据目标的运动趋势进行目标框的预测； 步骤33： 比较预测的目标框和真实的目标框， 若重叠区域较大， 则保留该ID号， 否则清 除该ID号。 2.根据权利要求1所述融合毫米波雷达与相机的区域目标跟踪方法， 其特征在于， 所述 步骤S1中通过去噪、 滤波、 聚类操作滤除静态目标信息， 得到运动目标的距离、 方位及速度 信息。 3.根据权利要求1所述融合毫米波雷达与相机的区域目标跟踪方法， 其特征在于， 所述 步骤S2中， 感兴趣目标为区域警戒场景下的目标可能进行入侵的移动目标； 所述神经网络 包括输入端、 主干网络、 连接网络、 检测头输出端； 所述输入端用于接收图像数据， 所述主干 网络用于从图像中提取特征， 所述连接网络用于将所提取网络进行融合并采样至不同尺 度， 所述检测头输出端用于根据所提取特征对感兴趣目标进行定位与分类； 所述 目标区域 为用边界框将感兴趣目标在图像中的位置标记出来。 4.根据权利要求1所述融合毫米波雷达与相机的区域目标跟踪方法， 其特征在于， 所述 步骤S4中， 包括以下步骤： 步骤41： 获取相机的参数； 步骤42： 在固定时间间隔获取相机的PTZ值参数， 所述PTZ值为相机的水平运动状态、 俯 仰运动状态及变焦状态； 步骤43： 根据当前的变焦状态及最大视场角计算当前变倍大小下的视场角大小； 步骤44： 将两次的PTZ值进行相减运算， 得到相机转动的角度， 再根据相机当前视场角 及其成像分辨 率， 计算相机运动造成的像素偏移量； 步骤45： 获取固定间隔前后同一ID目标的目标框， 对相机运动前的框进行补偿并与运 动后的目标框进 行重叠区域计算， 所述补偿是在运动前的目标框上加上相机运动造成的像 素偏移量， 若重 叠区域太小或不重 叠， 则得到运动的感兴趣目标， 否则为静态目标。 5.根据权利要求1 ‑4中任意一项所述融合毫米波雷达与相机的区域目标跟踪方法， 其 特征在于， 所述 步骤S5中， 包括以下步骤： 步骤51： 获取 雷达目标信息与视频目标信息； 步骤52： 雷达目标和视频目标的融合；权　利　要　求　书 1/2 页 2 CN 115184917 A 2所述步骤52中融合包括数据关联、 及状态更新； 所述数据关联采用最近邻方法， 在状态 预测及更新阶段， 使用线性卡尔曼滤波， 预测状态 、 状态转移矩阵A和后验状态 满足： ； 通过最小化新息误差得到与雷达目标最匹配的视频 目标的图像坐标值 , 从而完成雷达目标与视频目标的匹配， 最终 实现两者融合； 步骤53： 使用新息误差来进行 数据关联和状态更新； 所述步骤 53中测量残差满足： ,在不进行空间标定及坐 标转换的情 况下， 将目标与相机光心的夹角 作为目标的状态矩阵， 使用图像目标的坐标值 代入观 测矩阵计算 ， 将图像目标的宽 及当前水平视场角代入观测模型， 最终可计算得到测量 残差 ； 最终通过测量残差 及其协方差 得到新息误差 ， 新息误 差 ， 通过新息误差判断雷达目标与视频目标 是否匹配。 6.根据权利要求5所述融合毫米波雷达与相机的区域目标跟踪方法， 其特征在于， 所述 雷达目标信息包括雷达目标的距离、 方位及速度， 所述视频目标信息包括 目标在图像中的 位置、 目标的类别 及目标分类正确的置信度； 获取可见光相机的水平视场角、 垂 直视场角及 相机成像的分辨 率大小。 7.根据权利要求1 ‑4中任意一项所述融合毫米波雷达与相机的区域目标跟踪方法， 其 特征在于， 所述 步骤S1和步骤S2为并行的两个步骤。权　利　要　求　书 2/2 页 3 CN 115184917 A 3