基于孪生网络的特征融合位移RGB-T目标跟踪

摘要

为解决现有目标跟踪算法深层次特征提取困难、不能充分利用跨模态信息以及目标特征表示较弱等问题，提出了基于孪生网络的特征融合位移RGB-T目标跟踪算法.首先，基于可见光模态SiameseRPN++的目标跟踪框架，扩展设计红外模态分支，以获得多模态目标跟踪框架，设计了改进步长的ResNet50作为特征提取网络，有效挖掘目标的深层次特征.随后，设计特征交互学习模块，利用一种模态的判别信息引导另一种模态的目标外观特征学习，挖掘特征空间和通道中的跨模态信息，增强网络对前景信息的关注.然后，设计多模特征融合模块计算输入的可见光图像和红外图像的特征融合度，对不同模态的重要特征进行空间融合以去除冗余信息，并采用级联融合策略重建多模态图像，增强目标特征表示.最后，设计特征空间位移模块，分割红外模态分支的特征图并向四个不同方向移位，增强热源目标特征的边缘表示.在两个RGB-T数据集上的实验验证了提出算法的有效性，消融实验证明了设计的单个模块的优越性.

关键词

RGB-T跟踪 / 多模特征融合模块 / 特征空间位移模块 / 特征交互学习模块