(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210451302.5 (22)申请日 2022.04.27 (71)申请人 南方科技大 学 地址 518055 广东省深圳市南 山区桃源街 道学苑大道1088号 (72)发明人 刘伟　程嘉琪　何明德　黎学海　 陈苏秦　邢傲然　陈晨　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 陈春芹 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/25(2022.01) G06V 10/26(2022.01)G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 基于多模态图像融合的俯拍目标检测的方 法、 设备及 介质 (57)摘要 本申请公开了一种基于多模态图像融合的 俯拍目标检测的方法、 设备及介质， 涉及图像识 别技术领域。 方法包括： 获取待检测区域的俯拍 彩色图像以及与所述俯拍彩色图像一一对应的 深度图像； 将所述俯拍彩色图像、 对应的所述深 度图像进行图像对齐； 对对齐后的所述深度图像 进行兴趣目标区域过滤， 得到第一目标深度图 像； 将所述俯拍彩色图像融合到对应的所述第一 目标深度图像； 通过形态学操作以及鬼影消除处 理对融合后的所述第一目标深度图像进行背景 过滤， 得到第二目标深度图像； 基于所述第二目 标深度图像对应的点云数据和所述俯拍彩色图 像进行目标检测， 得到若干头肩目标。 设备及介 质应用上述方法， 本申请的实施例能提升目标检 测的效果。 权利要求书2页 说明书8页 附图4页 CN 114998821 A 2022.09.02 CN 114998821 A 1.一种基于多模态图像融合的俯拍目标检测的方法， 其特 征在于， 所述方法包括： 获取待检测区域的俯拍彩色图像以及与所述俯拍彩色图像一 一对应的深度图像； 将所述俯拍彩色图像、 对应的所述深度图像进行图像对齐； 对对齐后的所述深度图像进行兴趣目标区域过 滤， 得到第一目标深度图像； 将所述俯拍彩色图像融合到对应的所述第一目标深度图像； 通过形态学操作以及鬼影消除处理对融合后的所述第 一目标深度图像进行背景过滤， 得到第二目标深度图像； 基于所述第 二目标深度图像对应的点云数据和所述俯拍彩色图像进行目标检测， 得到 若干头肩目标。 2.根据权利要求1所述的方法， 其特征在于， 所述对对齐后的所述深度图像进行兴趣目 标区域过 滤， 得到第一目标深度图像， 包括： 将对齐后的所述深度图像进行影 像增强以及图像分割； 将图像分割后的所述深度图像通过边缘特征提取和/或注水算法进行兴趣目标区域过 滤， 得到第一目标深度图像。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 二目标深度图像对应的点 云数据和所述俯拍彩色图像进行目标检测， 得到若干 头肩目标， 包括： 将所述点云数据进行 预处理以及图像分割； 将图像分割后的所述 点云数据映射到所述俯拍彩色图像中， 得到待检测彩色图像； 基于所述待检测彩色图像进行目标检测， 得到若干 头肩目标。 4.根据权利要求1所述的方法， 其特征在于， 所述将所述俯拍彩色图像、 对应的所述深 度图像进行图像对齐， 包括： 计算所述深度图像中每一像素点在深度图像坐标系中的深度坐标； 计算所述深度坐标在世界坐标系中的世界坐标； 将所述世界坐标与 所述俯拍彩色图像对应的彩色坐标系的彩色坐标建立关联， 以使所 述深度坐标与所述彩色坐标一 一对应。 5.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 保存当前时刻的若干所述头肩目标的第一外观特 征； 根据若干所述头肩目标对应的预测位置， 获取当前时刻之前保存的若干第二外观特 征； 根据所述第 一外观特征与 所述第二外观特征的相似度， 得到所述头肩目标对应的轨迹 数据。 6.根据权利要求5所述的方法， 其特 征在于， 所述方法还 包括： 根据所述轨 迹数据， 统计预设时间段内的人流数据； 根据所述人流数据， 显示区域 客流热力图。 7.根据权利要求5所述的方法， 其特 征在于， 所述方法还 包括： 根据所述轨 迹数据， 显示识别的头肩目标对应的运动轨 迹； 根据所述 运动轨迹， 预测预设运动方向的人流数据。 8.基于多模态图像融合的俯拍目标检测的嵌入式设备， 其特征在于， 所述嵌入式设备 包括：权　利　要　求　书 1/2 页 2 CN 114998821 A 2视觉装置， 所述视觉装置用于实时获取俯拍彩色图像以及与 所述俯拍彩色图像一一对 应的深度图像； 嵌入式开发板； 视觉装置与所述嵌入式开发板通信连接； 所述嵌入式开发板设置有处理器和存储器， 所述存储器存储有指令， 所述指令被所述至少一个处理器执行， 以使所述至少一个处理器 执行所述指令时实现如权利要求1至7任一所述的基于多模态图像融合的俯拍目标检测的 方法。 9.一种电子设备， 其特 征在于， 包括： 至少一个处理器， 以及与所述至少一个处理器通信连接的存储器； 其中， 所述存储器存 储有指令， 所述指令被所述至少一个处理器执行， 以使所述至少一个处理器执行所述指令 时实现如权利要求1至7任一所述的基于多模态图像融合的俯拍目标检测的方法。 10.一种计算机可读存 储介质， 其特 征在于， 所述存储介质存储有计算机可执行指令， 所述计算机可执行指令用于使计算机执行如 权利要求1至7任一项所述的基于多模态图像融合的俯拍目标检测的方法。权　利　要　求　书 2/2 页 3 CN 114998821 A 3