(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210465142.X (22)申请日 2022.04.29 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 路小波　杨晨悦　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 张天哲 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于Tran sformer的轻量化早期火灾检 测方法 (57)摘要 本发明公开了一种基于Tran sformer的轻量 化早期火灾检测方法， 包括建立 室内外多场景火 灾初期图像样本数据集； 设计基于Transformer 的轻量化主干网络， 在Transformer结构中引入 线性增强注 意力机制， 并通过序列与图像的转换 和深度可分离卷积， 将局部性引入前馈网络中， 实现对图像的全局和局部特征处理， 并通过逆残 差块进行下采样， 得到不同分辨率的特征图； 通 过特征加强和多尺度特征融合结构进一步加强 特征提取， 最终在混合后的特征图中进行检测， 得 到 火 焰目 标 检 测结 果 。本发 明 结 合 了 Transformer和卷积神经网络 的优势， 在优化特 征提取的同时， 减少了网络的参数和计算量， 构 建了轻量的检测模型， 在保证较高检测精度的同 时， 实现了较快的检测速度， 可 以较好地实现多 场景火灾 早期目标的检测。 权利要求书2页 说明书5页 附图2页 CN 114882430 A 2022.08.09 CN 114882430 A 1.一种基于Transformer的轻量 化早期火灾检测方法， 其特 征在于， 包括以下步骤： 步骤1： 采集室内外火灾早期图像序列样本， 建立火灾初期图像样本数据集， 数据集包 括训练集与测试集； 步骤2： 设计Trans former结构块MobileLP  Block， 进行全局特征处理， 并引入局部性和 线性增强注意力机制， 实现和卷积类似的效果； 步骤3： 结合步骤2设计 的Transformer结构块和逆残差块， 建立主干网络， 输出不 同尺 度的特征图； 步骤4： 对不同尺度的特征图进行加强和融合， 并结合检测头模块， 建立整个基于 Transformer和卷积神经网络的轻量 化早期火灾检测模型； 步骤5： 加载训练集和预训练权重， 对网络进行训练， 根据测试精度， 保存最优权值模 型； 步骤6： 利用步骤5训练的网络， 对早期火灾数据集进行检测。 2.根据权利要求1所述的基于Transformer的轻量化早期火灾检测方法， 其特征在于， 所述步骤1中建立的室内外火灾初期图像序列样本， 大小为1920 ×1080， 图像包含室内， 室 外环境， 存在相似颜色的物体， 运动的人， 车， 飘动的树叶， 以及遮挡多种干扰， 均为火灾初 期图像， 火焰目标较小， 颜色呈现明亮的黄白色， 部 分图像受光照干扰， 火焰目标不够清晰， 且包含反射情况， 涵盖各类复杂场景。 3.根据权利要求1所述的基于Transformer的轻量化早期火灾检测方法， 其特征在于， 所述步骤2中设计的Transformer结构块Mobi leLP Block具体包括如下 过程： 步骤201、 运用3 ×3的卷积层编码局部空间信息， 再运用逐点卷积层， 通过学习输入通 道的线性组合将张量映射到高维空间； 步骤202、 将步骤201得到的张量展开为N个非重叠的块， 对于每一个块， 运用 Transformer对块间关系进行编码， 保留块的顺序和块内像素的空间顺序； 所述步骤202中Transformer编码器中包 含注意力机制和前馈网络； 其中， 注意力机制运用线性增强注意力机制， 在收到Q， K， V作为输入后， 在注意力操作 之前运用自适应最大池化减少K和V的空间尺度， 并突出前景目标， 极大地减少内存开销， 输 出改进的特 征； 前馈网络中引入局部性， 首先将token序列 转化为2D特征图， 再将前馈 网络中的全连接 层替换为1 ×1卷积层， 添加 h‑swish激活函数， 并在每个通道应用深度可分离卷积， 特征进 行聚合计算生成新的特征， 以高效的方式将局部性引入到网络中， 使其既能够捕获全局依 赖关系， 又能对局部依赖关系进行建模， 再将输出特征图重新转换为token序列， 用于下一 个注意力层； 基于线性注意力机制和引入局部性的前馈网络， 构建新的融合全局和局部特征， 轻量 化的transformer结构； 步骤203、 对步骤202编码后得到的张量进行折叠， 运用逐点卷积将其映射到低维空间， 再通过连接操作与输入张量进 行结合， 最后运用3 ×3卷积在连接的张量中融合局部和全局 特征。 4.根据权利要求1所述的基于Transformer的轻量化早期火灾检测方法， 其特征在于， 所述步骤3中运用Transformer结构块进行全局和局部特征处理， 再运用MobileNetv2中的权　利　要　求　书 1/2 页 2 CN 114882430 A 2逆残差块进行下采样， 运用SiLU作为激活函数， 网络的第一层为步长是2的3 ×3标准卷积， 再用步长为1或2的逆残差块进 行下采样， 在卷积神经网络部分后， 运用Transformer结构块 MobileLP Block和逆残差块交替进行 特征提取， 构建Mobi leLP主干网络 。 5.根据权利要求1所述的基于Transformer的轻量化早期火灾检测方法， 其特征在于， 所述步骤4中， 从MobileLP中获得大小为76 ×76， 38×38， 19×19三层特征图， 对19 ×19的特 征图先用SPP进行加强特征提取， 再运用BiFPN对三层特征图进行特征融合， 融合后的特征 由YOLO Head进行检测， 为了减少参数量， 使用深度可分离卷积， 替代3 ×3普通卷积， 构建整 个基于Transformer和卷积神经网络的早期火灾检测模型。 6.根据权利要求1所述的基于Transformer的轻量化早期火灾检测方法， 其特征在于， 所述步骤5中， 加载在ImageNet数据集上的预训练权重， 运用Mosaic数据增强处理数据集， 共训练10 0个循环。 7.根据权利要求1所述的基于Transformer的轻量化早期火灾检测方法， 其特征在于， 所述步骤6中， 得到训练好的模型后， 在测试集上进 行检测， 得到最 终的早期火灾检测结果， 用AP和FPS进行评价， 该模型达到80.71AP， 26.27FPS， 在精度上实现该数据集最好的效果， 实现精度和速度的平衡。权　利　要　求　书 2/2 页 3 CN 114882430 A 3