基于自校准机制的时空采样图卷积行为识别模型

摘要

针对现有行为识别算法忽视时空信息上下文的依赖关系和缺乏多层次感受野的特征提取问题，本文提出一种基于自校准机制的时空采样图卷积网络行为识别模型.首先，介绍ST-GCN和3D-GCN、Transformer和自注意力机制的工作原理，并分析了3D-GCN和Transformer不能有效进行时空上下文建模；其次，为有效进行时空上下文建模而提出了一种时空采样图卷积网络，其以时序连续多帧作为时空采样将全局动作分为多个子动作，通过非局部网络计算单一节点与采样频率帧内所有节点的相关性来建立局部跨时空依赖关系，并通过结合非局部网络和时域卷积计算单个采样子动作与全局子动作的相关性以此来建立全局跨时空依赖关系；然后，为了有效地增强多层次的感受野来捕获更具判别力的时域特征，提出了一种时域自校准卷积网络在两个不同的尺度时空中分别进行卷积并特征融合：一种是原始比例尺度的时空，另一种是使用下采样具有较小比例尺度的潜在时空；再者，结合时空采样图卷积网络和时域自校准网络构建基于自校准机制的时空采样图卷积网络行为识别模型，在多流网络下进行端到端的训练.最后，基于NTU-RGB+D和NTU-RGB+D120骨架动作数据集开展了骨架行为识别的相关实验研究，研究结果表明该行为识别模型具有高效的时空特征提取能力以及优秀的性能.

关键词

行为识别 / 时空采样图卷积 / 时空上下文 / 时域自校准 / 多流网络

基金资助

江苏省“六大人才高峰”计划(ZBZZ-012); 江苏省优秀科技创新团队基金资助项目(2019SK07); 高等学校学科创新引智计划(B18027)