(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210871261.5 (22)申请日 2022.07.23 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市浦口区宁六路 219号 (72)发明人 李昌利　 (74)专利代理 机构 北京同辉知识产权代理事务 所(普通合伙) 11357 专利代理师 何静 (51)Int.Cl. G06V 20/17(2022.01) G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/94(2022.01) G06V 10/96(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于边缘计算的无 人机目标检测系统 (57)摘要 本发明公开一种基于边缘计算的无人机目 标检测系统， 检测系统采用的模块主要包括无人 机采集模块、 预处理模块、 数量检测模块、 目标检 测与保存模块、 异常监控模块和服务端， 所述无 人机采集模块将无人机采集到的数据输入到预 处理模块， 预处理模块用于剔除无效数据后对剩 余数据进行数据增强， 为了避免增加训练样本损 失， 将数据分别传入数量检测模块、 异常监控模 块和目标检测与保存模块， 数量检测模块、 异常 监控模块和目标检测与保存模块均与服务端连 接， 服务端用于对数据进行存储。 本发明检测系 统利用无人机拍摄的实时影像来实现数量检测、 目标识别和异常监控的功能， 能够降低模型大 小， 解决目标检测算法对计算机中内存占用大的 问题。 权利要求书2页 说明书6页 附图2页 CN 115240090 A 2022.10.25 CN 115240090 A 1.一种基于边缘计算的无人机目标检测系统， 检测系统采用的模块主要包括无人机采 集模块、 预 处理模块、 数量检测模块、 目标检测与保存模块、 异常监控模块和服务端， 其特征 在于， 所述无人机采集模块用于收集无人机在一个时间段内采集到的视频或者图像， 无人 机采集模块采集到的数据输入到预处 理模块； 所述预处理模块用于剔除无效数据后对剩余数据进行数据增强， 为了避 免增加训练样 本损失， 将数据分别传 入数量检测模块、 异常监控模块和目标检测与保存模块， 数量检测模 块、 异常监控 模块和目标检测与保存 模块均与服务端连接， 服 务端用于对数据进行存 储。 2.根据权利要求1所述的一种基于边缘计算的无人机目标检测系统， 其特征在于， 所述 检测系统包括以下步骤： 步骤一、 无人机采集模块通过边缘设备处理无人机拍摄到的视频或者图像数据， 将拍 摄到的实时视频数据， 通过OpenCV读取视频数据， 将视频转化为图像序列返回视频分解得 到的图片总帧数， 通过cvQu eryFrame函数从图片总帧数的文件中抓取每一帧并解压 返回每 一帧的图像数据； 预处理模块对图像进行筛选， 剔除掉不清晰和障碍物多的图像数据， 将筛选后的数据 进行归类， 通过LabelImage软件对收集的图像中的目标进行标注来制作图像数据集， 根据 数据样本的数量， 按照7： 3的比例将数据集划分为训练集和 测试集； 预处理模块对图像数据进行训练增强， 将图像原图进行旋转、 水平翻转和垂直翻转， 以 各个角度的图像作为训练样 本， 将416*416的图像随机选取一部 分片段作为新的训练样 本， 引入噪声构成新的图像， 预处理模块可以较大规模增加训练样本， 避免由于训练样本不够 造成性能损失； 步骤二、 预处理模块将图像数据输入到数量检测模块， 数量检测模块内训练好的数量 检测模型会对图像中对象进行检测， 每一个对象的中心 点得到对象的数量信息传输到服务 端进行储存； 步骤三、 预处理模块将图像数据输入到异常监控模块， 异常监控模块内训练好的异常 监控模型检测出对象出现在危险区域内， 则发出警报并将危险信号发送到服 务端； 步骤四、 预处理模块将图像数据输入到目标检测与保存模块， 目标检测与保存模块内 训练好的目标识别模型对图像中的对象进 行识别分类， 识别结束后的结果根据用户的需求 可以选择保存到 本地或者存 储在服务端的数据库中。 3.根据权利要求1所述的一种基于边缘计算的无人机目标检测系统， 其特征在于， 所述 数量检测模块模型采用ShuffleNet  v2‑YOLO v3检测模型， 将YOLO  v3检测模型中的特征提 取网络用轻量级ShuffleNet  v2特征提取网络替换， 输入图像经过下采样送入YOLO  v3的检 测网络， ShuffleNet  v2的卷积单元替换特征提取层的卷积， 可应用在没有GPU的边缘设备 上， 提高检测速度， 满足 实时要求。 4.根据权利要求1所述的一种基于边缘计算的无人机目标检测系统， 其特征在于， 所述 异常监控模块使用OpenCV中鼠标响应函数， OpenCV中鼠标响应函数在图像上把目标区域划 分出来， 当检测出对象在这目标区域上时， 产生预警并发送信号给服务端， 在视频数据上传 之前， 在边缘设备上执行预处理模块， 在无人机摄像头上加入计算能力， 当检测到有目标 时， 对视频信息进行存 储， 如果没有目标则舍弃。 5.根据权利要求1所述的一种基于边缘计算的无人机目标检测系统， 其特征在于， 所述权　利　要　求　书 1/2 页 2 CN 115240090 A 2目标检测与保存模块包括目标检测模型YOLO  v4‑tiny， 目标检测模型YOLO  v4‑tiny采用 YOLO v4‑tiny网络结构， 根据用户需求将识别后的结果保存到服务器的数据库中， 包括以 下步骤： S1、 图像数据采集和处理： 在固定的一个时间间隔内， 一个或多个无人机对所在区域进 行图像采集， 将筛选后的图像进行归类， 使用Lab elImage软件对采集到的图像目标进行标 注来制作图像数据集， 然后根据样本的数量， 按照7:3的比例分别生成训练集和 测试集； S2、 输入图像： 输入416 *416*3的图像； S3、 主干提取网络： 选择使用CSPDarknet53 ‑tiny作为主干特征提取网络， YOLO  v4‑ tiny目标检测模型包括Darknet卷积块、 BN层和LeakyReLu激活函数。 首先输入416*416*3 (长、 宽和通道数RGB)的图像数据， 经过一次Darknet卷积后变成208*208*32， 再经过卷积、 标准化和激活函数的处理， 使得图像数据的长和宽不断压缩， 通道数不断变大， 最终变成 13*13*512的特征层； S4、 加强提取网络： 加强提取网络是主干的子集， 加强提取网络用于融合不同尺寸特征 图的特征信息， 有助于增强特征的可分辨性， 加强提取网络通过使用PA Net结构来加强特征 提取网络， 13*13*512的特征层经过卷积、 上采样操作后与 Darknet处理后得到的26*26*128 的特征层concat之后再卷积， 能够得到显著的特征， 通过Dense  Prediction模块对得到的 特征进行结果预测； S5、 Dense  Prediction： Dense  Prediction对图像特征进行预测， 生成边界框并预测类 别； S6、 目标识别与保存： 利用训练结束保存的Yolov4 ‑tiny模型对 目标进行识别， 将识别 后的结果保存到 本地或者存 储在服务器的数据库中。权　利　要　求　书 2/2 页 3 CN 115240090 A 3