基于跨模态特征交互引导的RGBT目标跟踪

周姣; 郭星

doi:10.16112/j.cnki.53-1223/n.202506030003

昆明理工大学学报（自然科学版） ›› 2026, Vol. 51 ›› Issue (2) : 12 -20. DOI: 10.16112/j.cnki.53-1223/n.202506030003

基于跨模态特征交互引导的RGBT目标跟踪

周姣, 郭星

作者信息 +

Author information +

文章历史 +

摘要

针对RGBT目标跟踪任务中全微调方法存在的易过拟合、计算资源消耗大问题，以及现有提示学习方法在模态主导关系建模不足、跨模态编码不充分方面的局限，提出一种跨模态特征交互引导的RGBT目标跟踪方法(Cross-Modal Feature Interaction Guidance Network, CMFIGNet).该方法通过构建基于Transformer的双分支主干网络，有效提取可见光与热红外模态特征，创新性地设计了跨模态特征交互引导器，采用分层特征交互引导机制动态评估模态质量并建立跨模态关联，通过参数共享的轻量化结构实现模态互补特征融合.该方法采用提示学习范式，在训练过程中仅需优化少量参数，通过冻结预训练主干网络参数显著降低了训练资源消耗.在RGBT234和LasHeR数据集上的实验表明，CMFIGNet在保持高跟踪速度的同时，多项精度指标优于现有先进算法，验证了其在跨模态特征交互建模、训练与运行效率方面的优越性.