时空特征强化与感知的视觉目标跟踪方法

摘要

多数基于Transformer的目标跟踪模型提取的目标局部空间特征信息有限且时间特征利用不足，显著影响了目标跟踪模型在处理目标遮挡、形变或尺度变化等复杂场景下的性能。为此，提出一种时空特征强化与感知的视觉目标跟踪方法（visual object tracking method with spatial-temporal feature enhancement and perception, STFEP）。一方面，该方法使用Transformer进行搜索区域与时间上下文特征的提取与融合，以得到全局特征信息，通过设计的局部卷积神经网络，提取目标的局部特征信息，并与目标的全局特征信息相关联，进一步强化目标的特征表示。另一方面，提出了时空特征感知机制，对不同时刻的特征信息进行可靠性和必要性分析，构建动态模板以感知更丰富的时空信息，使模型适应目标及场景的复杂变化。在TrackingNet、GOT-10k、LaSOT、UAV123多个数据集上的实验结果表明，研究所提方法能够准确鲁棒的对目标进行跟踪，并在GOT-10k数据集上取得了最优的结果，AO、SR_0.5以及SR_0.75分别达到了73.7%、83.8%、70.6%。

关键词

视觉目标跟踪 / 时空特征强化 / 全局-局部信息关联 / 时空特征感知 / 动态模板