基于跨模态特征交互引导的RGBT目标跟踪

周姣, 郭星

昆明理工大学学报(自然科学版) ›› 2026, Vol. 51 ›› Issue (02) : 12 -20.

PDF
昆明理工大学学报(自然科学版) ›› 2026, Vol. 51 ›› Issue (02) : 12 -20. DOI: 10.16112/j.cnki.53-1223/n.202506030003

基于跨模态特征交互引导的RGBT目标跟踪

    周姣, 郭星
作者信息 +

Author information +
文章历史 +
PDF

摘要

针对RGBT目标跟踪任务中全微调方法存在的易过拟合、计算资源消耗大问题,以及现有提示学习方法在模态主导关系建模不足、跨模态编码不充分方面的局限,提出一种跨模态特征交互引导的RGBT目标跟踪方法(Cross-Modal Feature Interaction Guidance Network, CMFIGNet).该方法通过构建基于Transformer的双分支主干网络,有效提取可见光与热红外模态特征,创新性地设计了跨模态特征交互引导器,采用分层特征交互引导机制动态评估模态质量并建立跨模态关联,通过参数共享的轻量化结构实现模态互补特征融合.该方法采用提示学习范式,在训练过程中仅需优化少量参数,通过冻结预训练主干网络参数显著降低了训练资源消耗.在RGBT234和LasHeR数据集上的实验表明,CMFIGNet在保持高跟踪速度的同时,多项精度指标优于现有先进算法,验证了其在跨模态特征交互建模、训练与运行效率方面的优越性.

关键词

RGBT目标跟踪 / 多模态信息交互 / 特征增强 / 提示学习 / 高效视觉跟踪

Key words

引用本文

引用格式 ▾
周姣, 郭星. 基于跨模态特征交互引导的RGBT目标跟踪[J]. 昆明理工大学学报(自然科学版), 2026, 51(02): 12-20 DOI:10.16112/j.cnki.53-1223/n.202506030003

登录浏览全文

4963

注册一个新账户 忘记密码

参考文献

AI Summary AI Mindmap
PDF

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/