基于多流自适应时空图卷积网络的人体行为识别

摘要

针对当前人体骨骼动作识别算法全局关系描述不够详尽、时空特征挖掘不够充分等问题，本文提出了一种基于多流自适应时空图卷积网络的人体骨骼动作识别模型(MsAST-GCN).首先使用注意力机制和神经张量网络(NTN)算法求解每对关节点之间的连接强度，构建全局邻接矩阵；接着利用topK策略，根据连接强度动态选择前K个邻居节点，更新全局邻接矩阵；然后采用混合池化模型提取全局上下文信息及时间关键帧特征.通过对关节信息、骨骼信息、关节运动信息、骨骼运动信息同时进行建模，加强模型提取的特征对动作的表征能力；最后在数据集NTU-RGB+D上开展实验.结果表明，该模型在人体骨骼动作识别任务中取得了良好的性能，有效提高了动作识别的准确率.

关键词

动作识别 / 注意力机制 / 图卷积神经网络 / 多流网络