深度特征目标感知交替方向乘子法优化多指标更新相关滤波跟踪算法

Correlation Filtering Algorithm Based on Target‑Aware Deep Tracking by Alternating Direction Method of Multipliers Optimization and Multi‑Index Update

摘要

空间正则化相关滤波算法跟踪过程中仅采用手工特征表征目标，高斯-赛德尔方法训练滤波器的复杂度高，跟踪结果不可靠时仍逐帧更新模型，导致跟踪效果不佳。针对空间正则化相关滤波算法存在的问题，提出深度特征目标感知交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）优化多指标更新相关滤波跟踪算法。该算法融入预训练网络提取的深度特征，并依回归损失的梯度信息进行通道选择，增强了对目标的表征能力；采用交替方向乘子法训练相关滤波器，降低算法复杂度，提升跟踪速度；根据多指标更新方法判断是否进行模型更新，不但提升了算法运行效率，而且避免了因学习到错误信息而导致的模型腐败。实验结果表明，所提算法的成功率、精确度在数据集OTB2015上均优于其它8种对比算法，且在复杂场景下具有更强的跟踪鲁棒性。

Abstract

A novel algorithm named as correlation filtering algorithm based on target-aware deep tracking by alternating direction method of multipliers（ADMM） optimization and multi-index update is proposed to avoid the disadvantages of only using hand-crafted features to characterize the target， the higher complexity of Gauss-Seidel method， which is used to train the filter， and updating the model frame by frame even when the tracking results are unreliable in SRDCF algorithm. After fusing the deep features that are extracted by the pre-training network， the channel selection is performed according to the gradient information of regression loss， which enhances the characterization ability of the target. In order to reduce the computational complexity and accelerate the tracking speed， the proposed algorithm utilizes the alternating direction method of multipliers to train the correlation filter. Furthermore， whether the model is updated or not depends on the multi-index update method， which not only improves the tracking efficiency， but also avoids the model corruption that is caused by learning wrong information. The experimental results show that the success rate and the precision of the presented algorithm outperform the compared algorithms on the OTB2015 dataset. Under the complex scenarios， the proposed approach has stronger tracking robustness compared with the state of the art approaches.

Graphical abstract

关键词

相关滤波 / 深度特征目标感知 / 交替方向乘子法 / 多指标更新方法

Key words

correlation filter / target-aware of deep features / alternating direction method of multipliers / multi-index update method

0 引 言

在给定跟踪目标初始信息的前提下，目标跟踪的任务是持续估计后续帧目标的位置、尺度等状态信息。作为计算机视觉领域的研究热点之一，目标跟踪在军事侦察、智能机器人、手势识别等诸多领域具有重要的研究价值^［1‐2］。

基于回归判别式模型，传统相关滤波算法结合循环矩阵和快速傅里叶变换，实现了对目标的跟踪^［3‐4］，该类算法主要包括搜索区域、特征提取、目标定位和模型更新4个步骤。由于采用了数据量较小的手工特征，传统相关滤波算法具有较快的跟踪速度。但是，手工特征对旋转、形变等外观变化的鲁棒性较差，因此该类算法在跟踪中难以取得较为鲁棒的跟踪效果。

得益于深度特征良好的表征能力和抗干扰能力，结合深度学习的相关滤波算法^［5‐7］相较于传统相关滤波算法具有较好的跟踪准确性和鲁棒性。该类算法主要分为两类：一类是将预训练深度特征融入相关滤波器的HCF^［8］，HDT^［9］等算法；另一类是将相关滤波器集成到深度网络中的CFNet^［10］，DCFNet^［11］和UDT^［12］等算法。这些结合深度学习的相关滤波算法虽然实现了精确和鲁棒的跟踪，但是仍未解决因循环移位带来的边界效应，导致跟踪算法的性能提升受到限制。

空间正则化相关滤波算法（Spatially Regularized Discriminative CF， SRDCF）^［13］按照滤波器系数的空间位置引入正则化项，有效解决了边界效应。但是，该算法跟踪中仅采用手工特征表征目标，Gauss-Seidel方法训练相关滤波器的时间复杂度高，跟踪结果不可靠时仍逐帧更新模型。

针对SRDCF算法存在的问题，提出深度特征目标感知ADMM优化多指标更新相关滤波跟踪算法（Target-Aware Deep Tracking by ADMM Optimization and Multi-Index Update， TACF）。该算法融入预训练的深度特征，并依回归损失的梯度信息进行通道选择，提高对目标的表征能力；采用交替方向乘子法（ADMM）^［14］训练相关滤波器，降低算法复杂度，加快跟踪速度；根据多指标更新方法判断是否进行模型更新，不但提升了算法运行效率，还避免了因学习到大量干扰信息而导致的模型损坏。实验结果表明，TACF算法相较于其它8种现有算法实现了更精确、更鲁棒的跟踪。

1 TACF算法跟踪框架

针对SRDCF算法存在的缺陷，提出TACF跟踪算法。该算法框图主要包含深度特征目标感知、TACF模型优化和多指标更新三部分，如图 1 所示。

1.1 训练位置滤波器

相关滤波算法利用循环矩阵进行训练和检测，尽管提高了计算效率，但也带来了边界效应。为抑制边界效应，引入空间正则化项，构造如下目标函数，训练TACF跟踪模型的位置滤波器。

E(\mathit{f})=\underset{f}{\mathrm{m}\mathrm{i}\mathrm{n}}\frac{\mathrm{1}}{\mathrm{2}}{‖{\displaystyle \sum _{l=\mathrm{1}}^L}{\mathit{x}}^l\otimes {\mathit{f}}^l-\mathit{y}‖}^{\mathrm{2}}+\frac{\mathrm{1}}{\mathrm{2}}{\displaystyle \sum _{l=\mathrm{1}}^L}{‖\mathit{w}\cdot {\mathit{f}}^l‖}^{\mathrm{2}},（1）

式中：大小为M\times N的{\mathit{x}}^l和{\mathit{f}}^l分别为第l通道的目标特征和位置滤波器；L为总通道数；\otimes和\bullet分别为循环卷积操作和哈达玛积； y 为预定义的标签；空间正则化项\frac{\mathrm{1}}{\mathrm{2}}{{\displaystyle \sum _{l=\mathrm{1}}^L}‖\mathit{w}\cdot {\mathit{f}}^l‖}^{\mathrm{2}}，抑制背景干扰，凸显感兴趣的目标区域。

1.2 位置检测与模型更新

位置检测时，从当前帧提取特征图{\mathit{z}}^l，与前一帧训练的位置滤波器{\mathit{f}}^l在频域的各通道上进行哈达玛求积运算，再把各通道的哈达玛积的和经傅里叶逆变换得到跟踪响应图 S

\mathit{S}=F^{-\mathrm{1}}\left({\displaystyle \sum _{l=\mathrm{1}}^L}{\widehat{\mathit{z}}}^l\cdot {\widehat{\mathit{f}}}^l\right)，（2）

式中：F^{-\mathrm{1}}表示傅里叶逆变换；\widehat{}表示傅里叶变换。跟踪响应图 S 中最大响应值点即为预测的当前帧目标的位置。

为适应跟踪目标外观的不断变化，需要对跟踪模型进行如下更新

{\mathit{f}}^{\mathrm{n}\mathrm{e}\mathrm{w}}=\left(\mathrm{1}-\eta \right){\mathit{f}}^{\mathrm{o}\mathrm{l}\mathrm{d}}+\eta \mathit{f},（3）

式中：\eta为更新时的学习率。

2 深度特征目标感知ADMM优化多指标更新相关滤波跟踪算法

2.1 深度特征目标感知

现有深度跟踪器用预训练的卷积神经网络（Convolutional Neural Networks，CNN）特征表征跟踪目标，而预训练的CNN特征先前一般是在目标识别任务中用来描述目标外观特性的。与目标识别任务中的目标不同，跟踪目标可以是任意形式的任意对象类，所以，将深度特征直接用于跟踪不仅会带来大量的干扰信息，而且难以区分目标与背景，致使跟踪效果不佳。

为解决此问题，更好地提升对目标的表征能力，提出深度特征目标感知方法，对预训练的CNN特征图进行通道选择，具体流程如图 2 所示。

构建如下回归损失函数，得到适用于跟踪任务的目标感知特征。

R_{\mathrm{r}\mathrm{e}\mathrm{g}}={‖\mathit{b}\left(u,v\right)-\mathit{h}\mathrm{*}{\mathit{x}}_{\mathrm{d}\mathrm{p}}‖}^{\mathrm{2}}+\lambda {‖\mathit{h}‖}^{\mathrm{2}},（4）

式中： h，{\mathit{x}}_{\mathrm{d}\mathrm{p}}分别为回归权重矩阵和预训练的深度特征图；标签\mathit{b}\left(u,v\right)=\mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{u^{\mathrm{2}}+v^{\mathrm{2}}}{\mathrm{2}{\sigma }^{\mathrm{2}}}\right)，\left(u,v\right)为相对跟踪目标的偏移量；\sigma为高斯内核的宽度。

使用式（5）计算回归损失梯度，以衡量各特征通道的重要性。

\begin{array}{l}\frac{\partial R_{\mathrm{r}\mathrm{e}\mathrm{g}}}{\partial {\mathit{x}}_{\mathrm{d}\mathrm{p}}}=\sum _{u,v}\frac{\partial R_{\mathrm{r}\mathrm{e}\mathrm{g}}}{\partial {\mathit{x}}_{\mathrm{o}}\left(u,v\right)}\times \frac{\partial {\mathit{x}}_{\mathrm{o}}\left(u,v\right)}{\partial {\mathit{x}}_{\mathrm{d}\mathrm{p}}\left(u,v\right)}=\\ \sum _{u,v}\mathrm{2}\left(\mathit{b}\left(u,v\right)-{\mathit{x}}_{\mathrm{o}}\left(u,v\right)\right)\times \mathit{h},\end{array}（5）

式中：{\mathit{x}}_{\mathrm{o}}\left(u,v\right)为回归损失收敛后的权重矩阵 h 与预训练的深度特征图{\mathit{x}}_{\mathrm{d}\mathrm{p}}的卷积。

对回归损失梯度作全局平均池化（GAP）处理，可得特征通道重要性权重\mathit{\Delta }，如式（6）所示。

\mathit{\Delta }={\mathrm{G}}_{\mathrm{A}\mathrm{P}}\left(\frac{\partial R_{\mathrm{r}\mathrm{e}\mathrm{g}}}{\partial {\mathit{x}}_{\mathrm{d}\mathrm{p}}^{\mathrm{1}}},\frac{\partial R_{\mathrm{r}\mathrm{e}\mathrm{g}}}{\partial {\mathit{x}}_{\mathrm{d}\mathrm{p}}^{\mathrm{2}}},...,\frac{\partial R_{\mathrm{r}\mathrm{e}\mathrm{g}}}{\partial {\mathit{x}}_{\mathrm{d}\mathrm{p}}^l},...,\frac{\partial R_{\mathrm{r}\mathrm{e}\mathrm{g}}}{\partial {\mathit{x}}_{\mathrm{d}\mathrm{p}}^L}\right)\mathrm{。}（6）

重要性权值越大，特征通道对目标的表征能力越强^［15］。因此，深度特征目标感知策略保留权值为正的特征通道，剔除权值为负的特征通道，得到如式（7）所示的适用于跟踪任务的目标感知特征{\mathit{x}}_{\mathrm{t}\mathrm{a}}。

{\mathit{x}}_{\mathrm{t}\mathrm{a}}=Q\left({\mathit{x}}_{\mathrm{d}\mathrm{p}};\mathit{\Delta }\right),（7）

式中：Q\left(\cdot \right)为根据权重\mathit{\Delta }选择目标感知特征的函数。

绘制特征热力图，比较原始深度特征和目标感知特征的不同，以验证深度特征目标感知策略的有效性。图 3 为绘制的热力图，从左到右分别为视频帧、原始深度特征和目标感知特征。

如图 3（a） 所示，原始深度特征热力图焦点没有聚集在目标区域，未能有效区分目标与背景；而目标感知特征热力图焦点全部聚集在目标区域，剔除了右下角的干扰信息，能将目标与背景区分开来。图 3（b） 中，与跟踪目标相似的干扰物较多，原始深度特征热力图在干扰物上有大量焦点聚集，包含较多干扰信息；而在目标感知特征热力图中，大量干扰信息被剔除，焦点主要聚集在目标区域，凸显了跟踪目标的外观特征。

2.2 TACF模型优化

式（1）为TACF跟踪模型的目标函数，为优化模型，引入约束条件\mathit{f}=\mathit{g}，式（1）的增广拉格朗日方程可以表示为

\begin{array}{l}\zeta \left(\mathit{f},\mathit{g},\mathit{s}\right)=\frac{\mathrm{1}}{\mathrm{2}}{‖{\displaystyle \sum _{l=\mathrm{1}}^L}{\mathit{x}}^l\otimes {\mathit{f}}^l-\mathit{y}‖}^{\mathrm{2}}+\frac{\mathrm{1}}{\mathrm{2}}{\displaystyle \sum _{l=\mathrm{1}}^L}{‖\mathit{w}\cdot {\mathit{g}}^l‖}^{\mathrm{2}}+\\ {\displaystyle \sum _{l=\mathrm{1}}^{\mathrm{L}}}{\left({\mathit{s}}^l\right)}^{\mathrm{T}}\left({\mathit{f}}^l-{\mathit{g}}^l\right)+\frac{\rho }{\mathrm{2}}{\displaystyle \sum _{l=\mathrm{1}}^L}{‖{\mathit{f}}^l-{\mathit{g}}^l‖}^{\mathrm{2}},\end{array}（8）

式中： s 为拉格朗日乘子；\rho为步长参数。

令\mathit{d}=\frac{\mathrm{1}}{\rho }\mathit{s}，式（8）可以简化为

\zeta \left(\mathit{f},\mathit{g},\mathit{d}\right)=\frac{\mathrm{1}}{\mathrm{2}}{‖{\displaystyle \sum _{l=\mathrm{1}}^L}{\mathit{x}}^l\otimes {\mathit{f}}^l-\mathit{y}‖}^{\mathrm{2}}+\frac{\mathrm{1}}{\mathrm{2}}{\displaystyle \sum _{l=\mathrm{1}}^L}{‖\mathit{w}\cdot {\mathit{g}}^l‖}^{\mathrm{2}}+{\displaystyle \sum _{l=\mathrm{1}}^L}{‖{\mathit{f}}^l-{\mathit{g}}^l+{\mathit{d}}^l‖}^{\mathrm{2}}\mathrm{。}（9）

将TACF模型优化问题拆分为如式（10）

所示的3个局部子问题，采用ADMM算法交替求解。\left\{\begin{array}{l}{\mathit{f}}^{\left(j+\mathrm{1}\right)}=\underset{\mathit{f}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\frac{\mathrm{1}}{\mathrm{2}}{‖{\displaystyle \sum _{l=\mathrm{1}}^L}{\mathit{x}}^l\otimes {\mathit{f}}^l-\mathit{y}‖}^{\mathrm{2}}+\\ \frac{\rho }{\mathrm{2}}{‖\mathit{f}-\mathit{g}+\mathit{d}‖}^{\mathrm{2}},\\ {\mathit{g}}^{\left(j+\mathrm{1}\right)}=\underset{\mathit{g}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\frac{\mathrm{1}}{\mathrm{2}}{\displaystyle \sum _{l=\mathrm{1}}^L}{‖\mathit{w}\cdot {\mathit{g}}^l‖}^{\mathrm{2}}+\\ \frac{\rho }{\mathrm{2}}{‖\mathit{f}-\mathit{g}+\mathit{d}‖}^{\mathrm{2}}\\ {\mathit{d}}^{\left(j+\mathrm{1}\right)}={\mathit{d}}^{\left(j\right)}+{\mathit{f}}^{\left(j+\mathrm{1}\right)}-{\mathit{g}}^{\left(j+\mathrm{1}\right)}\mathrm{。}\end{array}\right.（10）

1）求解子问题 f

\underset{\mathit{f}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\frac{\mathrm{1}}{\mathrm{2}}{‖{\displaystyle \sum _{l=\mathrm{1}}^L}{\mathit{x}}^l\otimes {\mathit{f}}^l-\mathit{y}‖}^{\mathrm{2}}+\frac{\rho }{\mathrm{2}}{‖\mathit{f}-\mathit{g}+\mathit{d}‖}^{\mathrm{2}}\mathrm{。}（11）

依帕塞瓦尔定理，式（11）在频域中可化为

\underset{\widehat{\mathit{f}}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\frac{\mathrm{1}}{\mathrm{2}}{‖{\displaystyle \sum _{l=\mathrm{1}}^{\mathrm{L}}}{\widehat{\mathit{x}}}^l\cdot {\widehat{\mathit{f}}}^l-\widehat{\mathit{y}}‖}^{\mathrm{2}}+\frac{\rho }{\mathrm{2}}{‖\widehat{\mathit{f}}-\widehat{\mathit{g}}+\widehat{\mathit{d}}‖}^{\mathrm{2}}\mathrm{。}（12）

由式（12）可知，标签\widehat{\mathit{y}}的第i个元素只取决于目标特征\widehat{\mathit{x}}和相关滤波器\widehat{\mathit{f}}在所有通道中的第i个元素。令{\mathit{K}}_i\left(\cdot \right)表示各个通道的第i个元素组成的列向量，所以可将子问题 f 进一步分解为MN个子问题，每个子问题如式（13）所示。

\underset{{\mathit{K}}_i\left(\widehat{\mathit{f}}\right)}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\frac{\mathrm{1}}{\mathrm{2}}{‖{\mathit{K}}_i{\left(\widehat{\mathit{x}}\right)}^{\mathrm{T}}{\mathit{K}}_i\left(\widehat{\mathit{f}}\right)-{\widehat{\mathit{y}}}_i‖}^{\mathrm{2}}+\frac{\rho }{\mathrm{2}}{‖{\mathit{K}}_i\left(\widehat{\mathit{f}}\right)-{\mathit{K}}_i\left(\widehat{\mathit{g}}\right)+{\mathit{K}}_i\left(\widehat{\mathit{d}}\right)‖}^{\mathrm{2}}\mathrm{。}（13）

令式（13）的导数为0，可得

{\mathit{K}}_i\left(\widehat{\mathit{f}}\right)={\left({\mathit{K}}_i\left(\widehat{\mathit{x}}\right){\mathit{K}}_i{\left(\widehat{\mathit{x}}\right)}^{\mathrm{T}}+\rho \mathit{I}\right)}^{-\mathrm{1}}·\left({\mathit{K}}_i\left(\widehat{\mathit{x}}\right){\widehat{\mathit{y}}}_i+\rho {\mathit{K}}_i\left(\widehat{\mathit{g}}\right)-\rho {\mathit{K}}_i(\widehat{\mathit{d}})\right)\mathrm{。}（14）

由式（14）和Sherman-Morrison公式，可得子问题 f 在频域中的封闭解

{\mathit{K}}_i\left(\widehat{\mathit{f}}\right)=\frac{\mathrm{1}}{\rho }\left(\mathit{I}-\frac{{\mathit{K}}_i\left(\widehat{\mathit{x}}\right){\mathit{K}}_i{\left(\widehat{\mathit{x}}\right)}^{\mathrm{T}}}{\rho +{\mathit{K}}_i{\left(\widehat{\mathit{x}}\right)}^{\mathrm{T}}{\mathit{K}}_i\left(\widehat{\mathit{x}}\right)}\right)\left({\mathit{K}}_i\left(\widehat{\mathit{x}}\right){\widehat{\mathit{y}}}_i+\rho {\mathit{K}}_i\left(\widehat{\mathit{g}}\right)-\rho {\mathit{K}}_i\left(\widehat{\mathit{d}}\right)\right)。（15）

子问题 f 的时域解可由频域解的傅里叶逆变换得到。

2）求解子问题 g

\underset{\mathit{g}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\frac{\mathrm{1}}{\mathrm{2}}{\displaystyle \sum _{l=\mathrm{1}}^{\mathrm{L}}}{‖\mathit{w}\cdot {\mathit{g}}^l‖}^{\mathrm{2}}+\frac{\rho }{\mathrm{2}}{‖\mathit{f}-\mathit{g}+\mathit{d}‖}^{\mathrm{2}}\mathrm{。}（16）

令式（16）的导数为0，可得子问题 g 的封闭解

\mathit{g}={\left({\mathit{W}}^{\mathrm{T}}\mathit{W}+\rho \mathit{I}\right)}^{-\mathrm{1}}\left(\rho \mathit{f}+\rho \mathit{d}\right),（17）

式中： W 为1个LMN×LMN的对角矩阵。

3） 更新步长参数

{\rho }^{\left(j+\mathrm{1}\right)}=\mathrm{m}\mathrm{i}\mathrm{n}\left({\rho }_{\mathrm{m}\mathrm{a}\mathrm{x}},\gamma {\rho }^j\right),（18）

式中：{\rho }_{\mathrm{m}\mathrm{a}\mathrm{x}}为\rho的最大值；\gamma为尺度参数。

2.3 多指标更新

因为深度特征包含丰富的语义信息，所以，基于目标感知特征的跟踪模型对目标的外观变化具有较强的鲁棒性，但目标感知特征的空间分辨率较低，目标定位准确性较差。另一方面，手工特征空间分辨率较高，有利于目标的精确定位，但包含颜色、纹理等信息的跟踪器鲁棒性较差。因此，TACF采用目标感知特征和手工特征训练相应的跟踪模型，分别利用式（2）得到响应图{\mathit{S}}_{\mathrm{t}\mathrm{a}}和{\mathit{S}}_{\mathrm{h}\mathrm{c}}，再依式（19）获得融合后的响应图{\mathit{S}}_{\mathrm{f}\mathrm{u}}。

{\mathit{S}}_{\mathrm{f}\mathrm{u}}={\theta }_{\mathrm{1}}\times {\mathit{S}}_{\mathrm{t}\mathrm{a}}+{\theta }_{\mathrm{2}}\times {\mathit{S}}_{\mathrm{h}\mathrm{c}},（19）

式中：{\mathit{S}}_{\mathrm{t}\mathrm{a}}，{\mathit{S}}_{\mathrm{h}\mathrm{c}}分别为目标感知特征响应图和手工特征响应图；{\theta }_{\mathrm{1}}和{\theta }_{\mathrm{2}}为融合系数。

得到响应图{\mathit{S}}_{\mathrm{f}\mathrm{u}}后，可根据最大响应分数{\mathit{S}}_{\mathrm{f}\mathrm{u}}^{\mathrm{m}\mathrm{a}\mathrm{x}} 判断当前帧跟踪结果的好坏。如图 4 所示，第2帧的跟踪目标没有受到干扰，最大响应分数较大，跟踪结果良好；第73帧，跟踪目标被相似物干扰，最大响应分数减小，跟踪结果开始出现偏差；第110帧，跟踪目标被严重遮挡，最大响应分数很小，跟踪结果越来越差。如果把响应分数最大值点预测为目标位置，那么在第110帧，由于遮挡和相似物干扰，导致目标位置出现错判。因此，仅采用最大响应分数作为模型更新的判据会因判断不准确使跟踪发生偏移。

跟踪结果置信度包含最大响应分数和平均峰值相关能量（Average Peak Correlation Energy，APCE）^［16］两个指标。APCE描述响应图波动程度，定义为

E_{\mathrm{A}\mathrm{P}\mathrm{C}\mathrm{E}}=\frac{{\left|{\mathit{S}}_{\mathrm{f}\mathrm{u}}^{\mathrm{m}\mathrm{a}\mathrm{x}}-{\mathit{S}}_{\mathrm{f}\mathrm{u}}^{\mathrm{m}\mathrm{i}\mathrm{n}}\right|}^{\mathrm{2}}}{mean\left(\sum _{m,n}{\left({\mathit{S}}_{\mathrm{f}\mathrm{u}}^{m,n}-{\mathit{S}}_{\mathrm{f}\mathrm{u}}^{\mathrm{m}\mathrm{i}\mathrm{n}}\right)}^{\mathrm{2}}\right)},（20）

式中：{\mathit{S}}_{\mathrm{f}\mathrm{u}}^{\mathrm{m}\mathrm{a}\mathrm{x}}，{\mathit{S}}_{\mathrm{f}\mathrm{u}}^{\mathrm{m}\mathrm{i}\mathrm{n}}分别为响应图最大值和最小值；{\mathit{S}}_{\mathrm{f}\mathrm{u}}^{m,n}为响应图第m行第n列的值。

如图 5 所示，第2帧目标周围无干扰物，{\mathit{S}}_{\mathrm{f}\mathrm{u}}^{\mathrm{m}\mathrm{a}\mathrm{x}}，E_{\mathrm{A}\mathrm{P}\mathrm{C}\mathrm{E}}分别为0.139 3和191.029 1，最大响应分数较大，响应图较为平坦，跟踪置信度较高；第15帧，目标被相似物干扰，{\mathit{S}}_{\mathrm{f}\mathrm{u}}^{\mathrm{m}\mathrm{a}\mathrm{x}}，E_{\mathrm{A}\mathrm{P}\mathrm{C}\mathrm{E}}分别为0.081 6和99.773 3，最大响应分数减小，响应图轻微波动，跟踪置信度降低；第41帧，目标被严重遮挡，{\mathit{S}}_{\mathrm{f}\mathrm{u}}^{\mathrm{m}\mathrm{a}\mathrm{x}}，E_{\mathrm{A}\mathrm{P}\mathrm{C}\mathrm{E}}急剧下降为0.039 3和43.793 4，响应图剧烈波动，跟踪置信度很低。最大响应分数和APCE从局部响应值情况和整体波动程度这两方面反映了跟踪置信度。因此，可采用这两个指标作为模型更新的重要判据。

深度特征的引入使模型参数量急剧增加。由于跟踪过程中训练数据的稀缺性，训练数据量小于模型参数量，可能会导致模型过拟合。而且，逐帧更新的传统策略虽然能使模型较好地适应不断变化的目标外观，但过度更新也会使模型对最新几帧样本过拟合。此外，相邻两帧的目标通常不会有较大变化，采用前一帧的模型仍可精确定位当前帧目标。因此，TACF采用隔帧更新方法以提高算法的运行速度，防止模型过拟合。

综合最大相应分数、APCE和隔帧更新策略，提出了多指标更新方法，如式（21）所示。

\left\{\begin{array}{l}{\mathit{S}}_{\mathrm{f}\mathrm{u}}^{\mathrm{m}\mathrm{a}\mathrm{x}}\ge {\beta }_{\mathrm{1}}\overline{{\mathit{S}}_{\mathrm{f}\mathrm{u}}^{\mathrm{m}\mathrm{a}\mathrm{x}}},\\ E_{\mathrm{A}\mathrm{P}\mathrm{C}\mathrm{E}}\ge {\beta }_{\mathrm{2}}\overline{E_{\mathrm{A}\mathrm{P}\mathrm{C}\mathrm{E}}},\\ \begin{array}{ccc}\left(t+\mathrm{1}\right)& mod& \mathrm{2}=\mathrm{0}\end{array},\end{array}\right.（21）

式中：\overline{{\mathit{S}}_{\mathrm{f}\mathrm{u}}^{\mathrm{m}\mathrm{a}\mathrm{x}}}，\overline{E_{\mathrm{A}\mathrm{P}\mathrm{C}\mathrm{E}}}分别为{\mathit{S}}_{\mathrm{f}\mathrm{u}}^{\mathrm{m}\mathrm{a}\mathrm{x}}和E_{\mathrm{A}\mathrm{P}\mathrm{C}\mathrm{E}}的历史均值。

当{\mathit{S}}_{\mathrm{f}\mathrm{u}}^{\mathrm{m}\mathrm{a}\mathrm{x}}， E_{\mathrm{A}\mathrm{P}\mathrm{C}\mathrm{E}}分别大于等于{\beta }_{\mathrm{1}}\overline{{\mathbf{S}}_{\mathrm{f}\mathrm{u}}^{\mathrm{m}\mathrm{a}\mathrm{x}}}和{\beta }_{\mathrm{2}}\overline{E_{\mathrm{A}\mathrm{P}\mathrm{C}\mathrm{E}}}，且帧数（t+1）为2的倍数时，TACF算法依式（3） 进行模型更新；若不满足条件，则不进行模型更新，避免了因学习到大量干扰信息而导致的模型损坏。

2.4 算法流程

TACF算法流程如图 6 所示。

跟踪阶段，TACF算法对预训练网络提取的深度特征进行通道选择，得到适合跟踪任务的目标感知特征，以提升对目标的表征能力；同时，采用ADMM算法优化跟踪模型，加快相关滤波器的训练速度；最后，根据最大响应分数、APCE和隔帧更新策略判断是否更新模型，避免模型损坏。

3 实验结果及分析

3.1 实验环境与配置

实验采用Windows10操作系统下的Matlab2019a对TACF算法进行实现，并通过MatConvNet工具包实现预训练网络VGG-16^［17］的前向传播。硬件平台配置为：16 GB内存，AMD R5 4600H 6核3.00 GHz CPU，GTX1650 GPU。

ADMM参数设置为：初始步长\rho =\mathrm{1}，最大步长{\rho }_{\mathrm{m}\mathrm{a}\mathrm{x}}=\mathrm{10}\mathrm{000}，尺度\gamma =\mathrm{10}。多指标更新参数设置为：{\beta }_{\mathrm{1}}=\mathrm{0.6}，{\beta }_{\mathrm{2}}=\mathrm{0.5}，学习率\eta =\mathrm{0.018}\mathrm{5}。响应图融合系数设置为：{\theta }_{\mathrm{1}}=\mathrm{1}，{\theta }_{\mathrm{2}}=\mathrm{1}。深度特征目标感知参数设置为：回归损失收敛阈值=0.02，最大迭代次数=200，原始深度特征为VGG-16中Conv4_3层的输出。

3.2 数据集与评价指标

实验数据集为OTB2015^［18］（object tracking benchmark）， 该数据集含目标部分离开视野、遮挡、平面内旋转、背景杂乱等11种场景属性。

实验采用一次通过评估（One Pass Evaluation， OPE）、空间鲁棒性评估（Spatial Robustness Evaluation， SRE）、时间鲁棒性评估（Temporal Robustness Evaluation， TRE）、11种复杂场景下的精确度和成功率作为评价指标。OPE，SRE，TRE、精确度和成功率的定义如下：

1）OPE：在目标初始信息为理想的情况下，算法维持其跟踪性能的特性。

2）SRE：在首帧的真实跟踪框出现位置平移或尺度缩放的情况下，算法维持其跟踪性能的特性^［21］。

3）TRE：在起始帧发生改变（不为第1帧）的情况下，算法维持其跟踪性能的特性^［18］。

4）精确度：预测中心位置与真实中心位置的欧氏距离小于20 pixel的帧数占总帧数的比值。

5）成功率：预测框与真实框的交并比大于0.5的帧数占总帧数的比值。

OPE模式下的精确度和成功率主要反映跟踪算法在理想情况下的跟踪性能，是目标跟踪领域常用的评价指标。而SRE和TRE模式下的精确度和成功率能在一定程度上评价算法在真实情况下的跟踪性能，是更加重要的评价指标。

3.3 定量分析

为评估所提算法性能，将TACF算法与SRDCF，AutoTrack^［19］，TADT^［20］，CFNet，DCFNet，UDT，STRCF^［21］，LADCF^［22］8种主流算法进行比较，实验结果如表 1 所示，OPE精确度、成功率如图 7 所示。

由表 1 和图 7 可知，TACF算法的OPE精确度、成功率分别为0.902和0.691，相较于AutoTrack，STRCF，TADT，LADCF，DCFNet，UDT，SRDCF和CFNet，精确度分别提高11.5%，4.7%，3.8%，6.5%，8.4%，13.2%，13.9%和15.3%，成功率分别提高10.4%，4.0%，3.3%，4.5%，6.5%，9.6%，10.8%和12.1%。

在初始帧数改变、第一帧真实框平移或尺度变化的情况下，跟踪算法性能可能有较大变化。因此，采用TRE、SRE对TACF和其它8种对比算法作进一步分析，实验结果如表 2、表 3 所示。

由表 2 和表 3 可知，TACF算法的TRE精确度、成功率分别为0.898和0.695，相较于SRDCF算法分别提高11.2%和8.0%；SRE精确度、成功率分别为0.873和0.646，相较于SRDCF算法分别提高11.2%和8.4%。由表 2 和表 3 还可知，TACF算法的TRE和SRE均好于其它8种算法。

为分析跟踪算法在复杂场景下的性能，实验对9种算法在11种场景下的OPE精确度和成功率进行比较，结果如表 4、表 5 所示。

由表 4、表 5 可知，TACF算法的成功率和精确度在低分辨率（Low Resolution，LR）场景下仅比TADT算法略低，在其它10种场景下均为最优。与SRDCF算法相比，TACF算法的跟踪性能在所有场景下均有较大提升，尤其在超出视野（Out-of-View，OV）、运动模糊（Motion Blur，MB）和遮挡场景（Occlusion，OCC）下，成功率分别提升20.7%、13.4%和12.5%，精确度分别提升32.4%，16.1%和17.3%。

3.4 定性分析

实验挑选OTB2015的5个典型视频序列以定性分析TACF和8种主流对比算法。所选视频序列含背景杂乱、遮挡、快速运动和尺度变化等多种场景属性。实验结果如图 8 所示。

视频序列bolt2跟踪过程中，主要存在的挑战因素是背景杂乱。从第10帧到第292帧，跟踪目标被视频背景中的相似物干扰，SRDCF，DCFNet，UDT和AutoTrack相继出现严重的跟踪漂移，TADT和LADCF跟踪到相似物上，仅TACF、STRCF和CFNet能准确定位目标，如图 8（a） 所示。目标被相似物干扰时，TACF的跟踪效果优于SRDCF，是因为TACF采用的深度特征目标感知策略有效区分了目标与背景。

视频序列girl2跟踪过程中，主要存在的挑战因素是遮挡。如图 8（b） 所示，从第109帧到第120帧，目标被干扰物严重遮挡，仅TACF算法能对目标实现精确和鲁棒的跟踪，而其它对比算法均出现不同程度的跟踪漂移；到第170帧，TACF仍可精确定位目标，而其它对比算法均完全丢失了跟踪目标。遮挡场景下，TACF的跟踪效果优于SRDCF，是因为TACF采用的多指标更新方法避免了由于学习到过多干扰信息而造成的模型腐败。

视频序列biker跟踪过程中，存在运动模糊、平面外旋转和尺度变化等多种挑战因素。从第65帧到第75帧，目标跳跃、旋转，出现运动模糊，SRDCF完全丢失目标，TADT，STRCF，CFNet和UDT均发生一定程度的跟踪漂移；从第105帧到第130帧，AutoTrack、LADCF和DCFNet也完全丢失了目标，而TACF一直可实现较为精确和鲁棒的跟踪，如图 8（c） 所示。

视频序列matrix跟踪过程中，存在光照变化、快速运动以及背景杂乱等多种挑战因素。第13帧，目标被相似物干扰，CFNet、LADCF和AutoTrack出现跟踪漂移；从第46帧到第100帧，目标快速运动，出现光照变化，TADT，STRCF，DCFNet、UDT和SRDCF均发生不同程度的跟踪漂移，仅TACF能一直精确定位目标，如图 8（d） 所示。

视频序列DragonBaby跟踪过程中，存在超出视野、快速运动和平面内旋转等多种挑战因素。从第24帧到第113帧，目标剧烈运动，AutoTrack，TADT，DCFNet，UDT，SRDCF和CFNet均出现不同程度的跟踪漂移，而TACF自始至终能准确跟踪目标，如图 8（e） 所示。

3.5 消融实验

针对所提深度特征目标感知（Target-Aware，TA）、交替方向乘子法（ADMM）和多指标更新（Multi-Index Update，MIU）方法，实验在OTB2015上对TACF算法作消融分析，结果如表 6 所示。

由表 6 第1~2行可知，SRDCF-ADMM算法的精确度、成功率虽比SRDCF算法分别下降0.6%和7.3%，但是跟踪速度提升了375%。这说明采用ADMM方法求解相关滤波器，降低了算法时间复杂度，加快了跟踪速度。由表 6 第2~3行可看出，在SRDCF-ADMM基础上，融入深度特征目标感知方法，精确度、成功率分别提升15.5%和23.3%，这说明深度特征目标感知方法有效提升了算法对目标的表征能力，提高了跟踪准确性。由表 6 第3~4行还可看出，在采用了深度特征目标感知方法SRDCF-ADMM基础上，融入多指标更新方法，精确度、成功率、跟踪速度分别提升2.9%，3.7%和24.5%，这说明多指标更新方法不仅提升了算法运算效率，还避免了因学习到错误信息而导致的模型损坏。

4 结 论

本文提出了深度特征目标感知ADMM优化多指标更新相关滤波跟踪算法。该算法融入预训练网络提取的深度特征，并根据回归损失的梯度信息进行通道选择，提高了对目标的表征能力；采用ADMM方法训练相关滤波器，降低计算复杂度，加快跟踪速度；根据多指标更新方法控制模型更新，不仅提升了算法运行效率，而且避免了由于学习到大量干扰信息而导致的模型损坏。实验结果表明，TACF算法的成功率、精确度在数据集OTB2015上均优于其它8种对比算法，且在复杂场景下实现了更鲁棒的跟踪。

参考文献

[1] 张长弓，杨海涛，王晋宇，等.基于深度学习的视觉单目标跟踪综述［J］.计算机应用研究，2021，38（10）：2888-2895.

[2] ZHANG Changgong， YANG Haitao， WANG Jinyu，et al.Survey on visual single object tracking based on deep learning［J］.Application Research of Computers，2021，38（10）：2888-2895. （in Chinese）

[3] 韩瑞泽，冯伟，郭青，等.视频单目标跟踪研究进展综述［J］.计算机学报，2022，45（9）：1877-1907.

[4] HAN Ruize， FENG Wei， GUO Qing，et al.Single object tracking research：a survey［J］.Chinese Journal of Computers， 2022， 45（9）：1877-1907.（in Chinese）

[5] HENRIQUES J F， CASEIRO R， MARTINS P，et al.Exploiting the circulant structure of tracking-by-detection with kernels［C］//Proceedings of the 12th European Conference on Computer Vision-Volume Part IV，2012：702-715.

[6] HENRIQUES J F， CASEIRO R， MARTINS P，et al.High-speed tracking with kernelized correlation filters［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（3）：583-596.

[7] LIANG Y， WU Q， LIU Y，et al.Deep correlation filter tracking with shepherded instance-aware proposals［J］.IEEE Transactions on Intelligent Transportation Systems，2022，23（8）：11408-11421.

[8] SUN S， GONG J， LI Y，et al.A research of target tracking algorithm based on deep learning and kernel correlation filter［C］//International Joint Conference on Neural Networks （IJCNN），2022：1-8.

[9] HOU Y， LIN X， LI J.Correlation filter and deep siamese network hybrid algorithm for visual object tracking［C］//IEEE 6th International Conference on Intelligent Computing and Signal Processing （ICSP），2021：73-76.

[10] CHAO M， HUANG J B， YANG X，et al.Hierarchical convolutional features for visual tracking［C］//IEEE International Conference on Computer Vision，2015：3074-3082.

[11] QI Y， ZHANG S， QIN L，et al.Hedged deep tracking［C］//IEEE Conference on Computer Vision and Pattern Recognition，2016：4303-4311.

[12] VALMADRE J， BERTINETTO L， HENRIQUES J F，et al.End-to-end representation learning for correlation filter based tracking［C］//IEEE Conference on Computer Vision and Pattern Recognition，2017：5000-5008.

[13] WANG Q， GAO J， XING J，et al.DCFNet：discriminant correlation filters network for visual tracking［J］.arXiv Preprint arXiv：2017.

[14] WANG N， SONG Y， MA C，et al.Unsupervised deep tracking［C］//IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019：1308-1317.

[15] DANELLJAN M， HAGER G， KHAN F S，et al.Learning spatially regularized correlation filters for visual tracking［C］//IEEE International Conference on Computer Vision，2015：4310-4318.

[16] BOYD S， PARIKH N， CHU E，et al.Distributed optimization and statistical learning via the alternating direction method of multipliers［J］.Foundations and Trends in Machine Learning，2010，3（1）：1-122.

[17] SELVARAJU R R， COGSWELL M，DAS A，et al.Grad-CAM：visual explanations from deep networks via gradient-based localization［C］//IEEE International Conference on Computer Vision，2017：618-626.

[18] WANG M， LIU Y， HUANG Z.Large margin object tracking with circulant feature maps［C］//IEEE Conference on Computer Vision and Pattern Recognition，2017：4800-4808.

[19] SIMONYAN K， ZISSERMAN A.Very deep convolutional networks for large-scale image recognition［J］.arXiv Preprint arXiv：2014.

[20] WU Y，LIM J， YANG M H.Object tracking benchmark［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（9）：1834-1848.

[21] LI Y， FU C， DING F，et al.AutoTrack：towards high-performance visual tracking for UAV with automatic spatio-temporal regularization［C］//IEEE/CVF Conference on Computer Vision and Pattern Recognition，2020：11920-11929.

[22] LI X， MA C， WU B，et al.Target-aware deep tracking［C］//EEE/CVF Conference on Computer Vision and Pattern Recognition，2019：1369-1378.

[23] LI F， TIAN C， ZUO W，et al.Learning spatial-temporal regularized correlation filters for visual tracking［C］//IEEE/CVF Conference on Computer Vision and Pattern Recognition，2018：4904-4913.

[24] XU T， FENG Z H， WU X J，et al.Learning adaptive discriminative correlation filters via temporal consistency preserving spatial feature selection for robust visual tracking［J］.IEEE Transactions on Image Processing，2019，28（11）：5596-5609.

基金资助

国家自然科学基金资助项目(11804209)

山西省自然科学基金资助项目(201901D111031)

山西省自然科学基金资助项目(201901D211173)

山西省高校科技创新计划资助项目(2019L0064)

山西省高校科技创新计划资助项目(2020L0051)