基于跨模态特征交互引导的RGBT目标跟踪

摘要

针对RGBT目标跟踪任务中全微调方法存在的易过拟合、计算资源消耗大问题，以及现有提示学习方法在模态主导关系建模不足、跨模态编码不充分方面的局限，提出一种跨模态特征交互引导的RGBT目标跟踪方法(Cross-Modal Feature Interaction Guidance Network, CMFIGNet).该方法通过构建基于Transformer的双分支主干网络，有效提取可见光与热红外模态特征，创新性地设计了跨模态特征交互引导器，采用分层特征交互引导机制动态评估模态质量并建立跨模态关联，通过参数共享的轻量化结构实现模态互补特征融合.该方法采用提示学习范式，在训练过程中仅需优化少量参数，通过冻结预训练主干网络参数显著降低了训练资源消耗.在RGBT234和LasHeR数据集上的实验表明，CMFIGNet在保持高跟踪速度的同时，多项精度指标优于现有先进算法，验证了其在跨模态特征交互建模、训练与运行效率方面的优越性.

关键词

RGBT目标跟踪 / 多模态信息交互 / 特征增强 / 提示学习 / 高效视觉跟踪