基于多尺度模态融合的RGB-T目标跟踪网络

摘要

可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点，以及现有网络在多模态融合策略上的不足，提出一种RGB-T目标跟踪网络。网络采用孪生结构，首先将主干特征提取网络输出的模板图像特征与搜索图像特征从单尺度拓展到多尺度，并对可见光与热红外模态在不同尺度上分别进行模态融合，然后将得到的融合特征通过注意力机制增强特征表示，最后通过区域建议网络得到预测结果。在GTOT与RGBT-234两个公开RGB-T数据集上的实验结果表明，该网络跟踪精度和成功率较高，可以应对复杂的跟踪场景，相比于其他网络具有更高的跟踪性能。

关键词

目标跟踪 / 可见光与热红外 / 多尺度特征 / 模态融合 / 深度学习

基金资助

国家自然科学基金项目(62273339);国家自然科学基金联合基金重点支持项目(U20A20200)