(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211178397.4 (22)申请日 2022.09.27 (71)申请人 南京瀚元 科技有限公司 地址 210012 江苏省南京市江宁区西门子 路39号5号楼 (72)发明人 刘涛　田甜　 (74)专利代理 机构 南京中擎科智知识产权代理 事务所(普通 合伙) 32549 专利代理师 黄智明 (51)Int.Cl. G06V 20/17(2022.01) G06V 20/40(2022.01) G06V 10/30(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于注意力机制的无人机移动目标侦 测方法 (57)摘要 本发明涉及无人机技术领域， 公开了一种基 于注意力机制的无人机移动目标侦测方法， 其技 术方案要点是， 输入实时视频流和图像； 反无人 机系统中的目标检测算法基于注意力机制对目 标检测区域进行无人机侦测； 基于注 意力机制的 目标检测算法侦测到无人机后， 激活无人机跟踪 算法， 使得无人机跟踪算法对检测算法侦测出的 无人机目标进行实时跟踪； 当无人机跟踪算法跟 踪丢失后， 基于注意力机制的目标检测算法重新 进行目标检测区域无人机的侦测流程， 当跟踪成 功， 输出相关坐标给其联动的防御控制器， 进行 锁定和反无 人机操作。 权利要求书3页 说明书7页 附图5页 CN 115331127 A 2022.11.11 CN 115331127 A 1.一种基于注意力机制的无 人机移动目标侦测方法， 其特 征在于， 包括如下步骤： S1、 输入实时视频流和图像； S2、 反无人机系统中的目标检测算法基于注意力机制对目标检测区域进行无人机侦 测； S3、 所述基于注意力机制的目标检测算法侦测到无人机后， 激活无人机跟踪算法， 使得 无人机跟踪算法对检测算法侦测出的无 人机目标进行实时跟踪； S4、 当无人机跟踪算法跟踪丢失后， 基于注意力机制的目标检测算法重新进行目标检 测区域无人机的侦测流程， 当跟踪成功， 输出相关坐标给其联动的防御控制器， 进 行锁定和 反无人机操作。 2.根据权利要求1所述的一种基于注意力机制的无人机移动目标侦测方法， 其特征在 于： 所述S1具体包括以下步骤： S1.1、 使用相机对空中进行拍摄并将拍摄的实时视频流和图片输入到反无人机系统 中； S1.2、 反无 人机系统中的算法单 元对输入的视频流和图片进行 数据模块预处 理。 3.根据权利要求2所述的一种基于注意力机制的无人机移动目标侦测方法， 其特征在 于： 所述数据模块预处理运行 的过程为： 根据不同数据源格式采取不同的数字图像处理模 块， 可分为视频解码模块以及JEPG、 PNG图像解码处理， 然后对解码产生的数据进行伽马矫 正和图像去噪处理， 最后基于数字图像处理算法将矫正和去噪后的数据转换成适用于基于 注意力机制的目标检测算法所需要的格式文件。 4.根据权利要求1所述的一种基于注意力机制的无人机移动目标侦测方法， 其特征在 于： 所述S2具体包括以下步骤： S2.1、 反无人机系统融入混合注意力机制模块的网路ResNet50和特征金字塔 ResNet50‑BiFPN模块； S2.2、 融合低层结构特征层和高层特征的高语义信息， 对输入数据进行特征提取和特 征融合； S2.3、 通过头 部网络模块对检测目标进行分类和目标框回归预测。 5. 根据权利要求4所述的一种基于注意力 机制的无人机移动目标侦测方法， 其特征在 于： 所述特征金字塔ResNet50 ‑BiFPN模块自底向上工作流方式计算不同尺度变化比例的映 射特征图， 对应的输出特征图为{C2,C3,C4,C5}； 自顶向下的工作流方式融合高语义信息的 特征和邻近特征空间上采样结果融合合并得到{M erge2,Merge3,Merge4,M erge5},在FPN层 的后面添加一个自底向上的增强特征金字塔； 通过FPN  层自顶向下传达强语义特征， 增强 特征金字塔则自底向上传达强定位特征， 从不同的主干层对不同的检测层进行参数聚合， 再经过con_3x3以减少混叠像素效应， 最终得到多尺度特征图{Bi ‑FPN2,Bi‑FPN3,Bi‑FPN4, Bi‑FPN5}。 6.根据权利要求4所述的一种基于注意力机制的无人机移动目标侦测方法， 其特征在 于： 所述混合注意力机制模块包括空间域注意力机制和通道域注意力机制； 所述通道域注意力 机制用于先将通道上整个空间特征编码聚合为一个全局特征， 再通 过多层感知机激活函数组合运算提取通道之间的关系； 通道域注意力机制计算公式为：权　利　要　求　书 1/3 页 2 CN 115331127 A 2， 其中c表示第c个卷积核； 表示激活函数sigmoid函数； MLP表示多层感知器， 用于不同分支的权重共享； AvgPool和 MaxPool表示池化 运算； F代表池化运算结果； 所述空间域注意力机制用于准确定位空间中的目标特征， 在实 际无人机检测任务中， 远处的小目标像素 的占比往往很小， 添加空间域注意力能更好地准确定位小目标， 以达到 提高检测的准确率， 空间域注意力机制模块计算公式为： ， 其中s表示第s个卷积核； 表示激活函数sigmoid函数； con_5x5表示卷积核大小 为5*5； AvgPool和MaxPool表示池化运 算； F代表池化运算结果。 7.根据权利要求4所述的一种基于注意力机制的无人机移动目标侦测方法， 其特征在 于： 在ResNet5 0中ResNet模块以及FPN中卷积层和分别添加空间和通道域注意力机制模块。 8.根据权利要求4所述的一种基于注意力机制的无人机移动目标侦测方法， 其特征在 于： 所述头 部网络模块包括多尺度预测机制和目标框预测； 所述多尺度预测机制是结合低阶特征图的细节定位信息和高阶特征图的丰富语义信 息， 通过在不同特 征层进行 特征融合， 能够更好的发掘特 征图上小目标； 检测算法中的目标检测模型基于多尺度预测机制进行无人机和鸟类目标分类， 对于检 测目标判定 分类为无人机的目标， 进 行后续跟踪算法分析， 对于虚 假目标以及鸟类目标， 丢 弃不进行跟踪算法； 所述目标框预测是使用聚类算法处理相机采集无人机图像集， 生成合适长宽比的锚点 先验框， 用于训练任务回归无人机尺度信息； 在训练过程中， 以真实的边框位置相对于预设 目标边框的偏移 来作为模型输出参数以及用于计算残差来更新网络参数， 然后基于转换关 系公式解析 出无人机目标的实际图像坐标值； 转换关系公式为： 其中 表示激活函数sigmoid函数； bx和by为目标边界框的中心点坐标； bw和bh分别为 目标边界框的宽和高； cx和cy是目标边界框中心在特征图中所占据网格与左上角的网格坐 标； pw和ph为自适应算法生成的先验框的宽高； tx,ty,tw,th为网络模型主 要预测参数。 9.根据权利要求1所述的一种基于注意力机制的无人机移动目标侦测方法， 其特征在 于： 所述无 人机跟踪算法采用KCF算法， 所述S3具体包括以下步骤： S3.1、 基于目标检测帧输出无人机目标， 开始进行 区域建模来提取特征， 该特征作 为后 续视频帧中寻找与此相似区域的特 征模型； S3.2、 图像提取特征后与余弦窗原算法获取响应图以及位置滤波器， 用于确定无人机 位置信息；权　利　要　求　书 2/3 页 3 CN 115331127 A 3