融合时空注意力的改进ST-GCN人体动作识别方法研究

摘要

针对现有的人体骨架动作识别算法不能充分发掘运动的时空特征问题，提出了一种基于融合时空注意力的改进图卷积网络模型.该模型包含空间注意力机制和时间注意力机制，利用时空注意力机制从时间和空间两个维度分别提取动作的全局时空特征.将这二者融合到统一的时空图卷积网络（ST-GCN）框架中，实现了端到端的训练.在Kinetics和NTU RGB+D两个公开数据集的对比实验证明：改进模型在NTU-RGB+D数据集上的CS标准下取得了82.37%的Top-1精度，在CV标准下取得89.84%的Top-1精度，相比原来的ST-GCN算法，分别提升0.87%的Top-1精度和1.54%的Top-5精度.在Kinetics数据集上，改进模型取得了31.78%的精度，与ST-GCN相比提高了1.08%.由此验证了改进方法的有效性.

关键词

图卷积网络 / 骨架数据 / 动作识别 / 时空注意力