基于多步态特征融合的情感识别

彭涛; 唐经; 何凯; 胡新荣; 刘军平; 何儒汉

doi:10.16088/j.issn.1001-6600.2021071406

广西师范大学学报（自然科学版） ›› 2022, Vol. 40 ›› Issue (03) : 104 -111. DOI: 10.16088/j.issn.1001-6600.2021071406

基于多步态特征融合的情感识别

彭涛, 唐经, 何凯, 胡新荣, 刘军平, 何儒汉

作者信息 +

Author information +

文章历史 +

PDF

摘要

在情感计算、心理治疗、机器人、监视和观众理解等方面，基于步态特征的情感识别有着广泛的应用前景。已有方法表明，考虑手势位置等上下文信息可以显著提高情绪识别性能，且时空信息能显著提高情绪识别精度。但是单纯使用骨骼空间信息无法充分表达步态中的情绪信息。为了充分利用步态特征，本文提出自适应融合的方法，将骨骼时空信息与骨骼旋转角度结合，提升了现有模型的情感识别精度。本文模型利用自编码器，学习人类行走时的骨骼旋转信息，利用时空图卷积神经网络提取骨骼点时空信息，将骨骼旋转信息与时空信息输入自适应融合网络，得到最终特征进行分类。模型在Emotion-Gait数据集上测试，实验结果显示：悲伤、愤怒和中立情绪的AP值比最新HAP方法分别提升5、8、5个百分点；总体分类的平均MAP值提高了5个百分点。