基于注意力机制的时空融合动作识别方法

摘要

人体动作识别作为计算机视觉领域的研究热点，具备广泛的应用前景。针对人体动作在视频中存在的时序性特点，提出一种基于注意力机制的时空融合网络模型用于动作识别。该模型采用3D ResNet-50提取特征，将3D卷积核拆分成为串联的非对称卷积核，在提高模型非线性能力的同时，增强对水平、竖直方向的局部特征提取能力。在空间、时间网络部分，模型改进了外部注意力模块，使其能够获取时序维度上的帧间关联；同时，提出时空提前融合(STEF)特征融合方法，对空间、时间网络的特征进行提前融合，以此建立网络间像素级的对应关系，增强时空特征联系。经过进一步时空特征提取后，将特征输入分类器并根据特征数据进行分类，最终输出识别结果。在公开数据集UCF101、HMDB51上的大量试验结果表明，所提方法的识别率分别达到96.1%和72.9%。试验证明，所提模型增强了时空网络之间的交互性，有助于提升人体动作的识别效果。

关键词

动作识别 / 残差网络 / 注意力机制 / 提前融合