(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211177765.3 (22)申请日 2022.09.27 (71)申请人 哈尔滨工业大 学 （深圳） （哈尔滨工 业大学深圳科技创新研究院） 地址 518000 广东省深圳市南 山区桃源街 道深圳大 学城哈尔滨工业大 学校区 (72)发明人 何震宇　毛凯歌　田超　杨超　 (74)专利代理 机构 深圳市科吉华烽知识产权事 务所(普通 合伙) 44248 专利代理师 胡吉科 (51)Int.Cl. G06T 7/246(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) (54)发明名称 一种双光多模 型长时间目标跟踪 方法、 系统 及存储介质 (57)摘要 本发明提供了一种双光多模型长时间目标 跟踪方法、 系统及存储介质， 该双光多模型长时 间目标跟踪方法包括预训练步骤、 训练步骤、 重 参数化步骤和推理步骤。 本发明的有益效果是： 本发明使得可见光 ‑热红外双光目标跟踪器具有 更好的鲁棒性和泛化能力， 能够更准确更快速的 实现对目标的长时间跟踪。 权利要求书3页 说明书9页 附图3页 CN 115294176 A 2022.11.04 CN 115294176 A 1.一种双光多模型长时间目标跟踪方法， 其特 征在于， 包括如下步骤： 预训练步骤： 通过利用未标注的可见光 ‑热红外图像对双光融合模块进行互重建预训 练， 得到初始化权 重参数； 训练步骤： 使用预训练步骤中得到的初始化权重参数对双光融合模块进行权重初始 化， 在可见光 ‑热红外跟踪数据集上使用基于边界分布预测的回归损失函数和交并比感知 的分类损失函数进行跟踪训练； 重参数化步骤： 预训练步骤及训练步骤使用的均是具有残差结构的双光融合模块， 通 过重参数化将具有残差结构的双光融合模块 转化为直筒式结构的双光融合模块； 推理步骤： 对每帧输入的可 见光‑热红外图像对执 行如下步骤： 步骤a： 使用双光融合模块 提取输入图像帧的特 征； 步骤b： 当前的算法运行状态包括局部跟踪或全局检测， 基于当前的算法运行状态， 运 行局部跟踪模块或全局检测模块； 基于步骤b得到的结果运行状态切换模块， 评估当前帧是否成功跟踪， 决定是否切换运 行状态； 基于步骤b得到的结果， 结合历史目标信 息， 通过更新控制模块评估当前帧是否应该对 局部跟踪模块中的模板以及状态切换模块中的分类 器进行更新。 2.根据权利要求1所述的双光多模型长时间目标跟踪方法， 其特征在于， 所述双光融合 模块由一个双流卷积网络构成， 该双流卷积网络在不同的卷积层具有不同的耦合率， 且耦 合率随着双流卷积网络深度的增加逐渐变大， 通过耦合的卷积核， 双光融合模块能够提取 到可见光和热红外两个模态的共有特征， 而通过非耦合的卷积核则能够分别提取可见光/ 热红外图像的私有特征， 双流卷积网络提取到的特征将 被输入到一个通道注意力模块中进 行融合。 3.根据权利要求1所述的双光多模型长时间目标跟踪方法， 其特征在于， 所述状态切换 模块包括执 行如下步骤： 步骤1： 局部跟踪模块或全局检测模块的预测结果将被输入到状态切换模的分类器中， 分类器对该预测结果进行评估得到分数 ss； 步骤2： 判断当前算法的状态， 若当前算法处于局部跟踪状态时， 执行第 一分支步骤； 若 当前算法处于全局检测状态时， 执 行第二分支步骤； 第一分支步骤： 判断分数 ss是否小于阈值 γs， 若是， 则认为局部跟踪模块未成功对目标 进行跟踪， 将算法切换到全局检测状态， 否则认 为局部跟踪模块成功跟踪目标， 继续保持局 部跟踪状态； 第二分支步骤： 判断分数 ss是否大于阈值 γs， 若是， 认为全局检测模块成功捕捉到了目 标， 将算法切换到局部跟踪状态并使用检测结果重置局部跟踪模块， 否则认为未检测到目 标， 继续保持全局检测状态。 4.根据权利要求3所述的双光多模型长时间目标跟踪方法， 其特征在于， 状态切换模块 包括分类器， 在跟踪过程中根据预测结果对分类器进 行更新， 更新过程如下： 首先在预测结 果周围随机采样并根据其与预测结果的IoU划分为正负样本， 之后用得到的正负样本对分 类器进行训练以更新 其参数， IoU为采样得到的框与预测结果框之间交叠率。 5.根据权利要求1所述的双光多模型长时间目标跟踪方法， 其特征在于， 更新控制模块权　利　要　求　书 1/3 页 2 CN 115294176 A 2由 LSTM和全连接层堆叠而成， 如公式1所示， LSTM表示多层时间步长逐步缩短 的长短期记 忆网络，l代表LSTM的层数， 通过将 Xt输入到LSTM中对目标在时序上的上下文信息进行聚 合， 得到表征目标近期综合状态的特征， 再通过全连接层FC后得到分数 su， 仅当分数 su大于 更新阈值 γu时对局部跟踪模块和 切换控制模块进行 更新； su =FC(LSTMl(LSTMl‑1(…LSTM1(Xt)…)))          公式1 其中，Xt表示最近ts帧的状态信息组成目标的历史信息 。 6.根据权利要求1所述的双光多模型长时间目标跟踪方法， 其特征在于， 在所述预训练 步骤中， 首先将可见光图像和热红外图像均匀划分为多个 大小的方格， 之后从每 张图片中随机选取 个方格并使用色块遮挡所选方格中的图像内容后得到 ， 分别表示被遮挡后的可见光图像和热 红外 图像， R表示实数空间， H、 W分别表示图像长、 宽； 随机遮挡后的图像将作为双光融合模块的 输入， 可见光重建模块和热红外重 建模块将利用双光融合模块提取到的特征对可见光图像 和红外图像分别进行复原， 得到 ， 分别表示 复原后的可见光图像和热 红外图像； 最后以原始图像作为真值， 计算如公式2所示的均方差 损失对模型进行训练直至模型收敛； 在跟踪训练时， 模型将加载预训练得到的双光融合模 块的参数进行初始化， 而可 见光重建模块与热红外 重建模块则会被丢弃；             公式2； 其中L表示图像对上的损失， 和 分别表示可见光原图和热红外原图， 表示复 原后的可 见光图像， 表示复原后的热红外图像。 7.根据权利要求1所述的双光多模型长时间目标跟踪方法， 其特征在于， 在所述训练步 骤中， 基于边界分布预测的回归损失函数如公式5所示，        公式4 在公式4中， e表示包围框的某一边界， E表示包围框的边界集合，   表示真实标签， 表 示真实标签的整数部分， 表示目标的边界 在 区间内落位于 处的概率， 表示目标的边界e在[0,  L]区间内落 位于l+1处的概 率；              公式5 在公式5中， 表示常规的交并比损失， 分别表示预测目标包围框和真值 目标包围框 。 8.根据权利要求1所述的双光多模型长时间目标跟踪方法， 其特征在于， 在所述训练步权　利　要　求　书 2/3 页 3 CN 115294176 A 3