采用注意力与模板在线更新的可见光-红外目标跟踪网络

韩向东; 钟傲; 刘冲澳; 孙延鑫; 张向永; 徐淋智

西安交通大学学报 ›› 2025, Vol. 59 ›› Issue (8) : 187 -198.

韩向东, 钟傲, 刘冲澳, 孙延鑫, 张向永, 徐淋智

作者信息 +

Author information +

文章历史 +

摘要

针对当前可见光-红外目标跟踪算法对红外可见光双模态特征交互与目标动态变化建模不足的问题，结合卷积掩码自编码器模型，提出一种基于注意力与模板在线更新的可见光-红外双模态目标跟踪网络。以卷积掩码自编码器模型为骨干网络，通过采用双嵌入层配合共享权重的骨干网络结构提取可见光与红外特征，深入挖掘可见光与红外数据间的内在联系。通过强化模板与搜索图像的关联性，引入通道空间自注意力机制以增强模板和搜索图像间的交互，来提取模态间可区分的异质互补特征。提出模板在线更新模块，通过在线更新模板与设计模板分数头，利用置信度评分机制融合初始模板的稳定性与在线模板的适应性，解决目标随时间变化导致的模型漂移问题。实验结果表明，所提算法在GTOT和RGBT234公开数据集上的精确率和成功率分别达到93.3%/75.6%和87.2%/63.8%,可在目标不断变化情况下实现精确跟踪。可视化分析表明，所提算法在双模态热力图上可自适应互补，单一模态失效时仍能精准定位目标。