一种基于特征融合的Transformer目标跟踪算法

摘要

近年来，基于深度学习的目标跟踪网络取得了显著的进展.这些网络主要采用两种类型的框架：双流双阶段框架和单流单阶段框架.然而，前者忽视了在特征提取过程中的信息交互，后者则受限于骨干网络自身的局限性.因此，本文采用独立骨干网络来直接构建跟踪器，并设计了一种轻量化的多尺度特征融合架构，以较低的计算成本增强了网络对多尺度信息的感知能力；同时，引入递归门控卷积作为特征学习单元，以自适应高阶空间交互实现了网络对特征的深层挖掘；此外，本文使用DropMAE预训练模型来进行网络初始化，以提升网络的泛化能力.实验结果表明，所提出的目标跟踪网络在多个大型跟踪数据集基准上都表现出优异的性能，并能以78.4 FPS的速度进行实时跟踪.

关键词

视觉目标跟踪 / 单流单阶段框架 / 多尺度特征融合 / 递归门控卷积 / 网络初始化

基金资助

上海市高校特聘教授(东方学者)岗位计划项目(ES2015XX)资助