头部姿态鲁棒的面部表情识别

侯海燕; 谭玉枚; 宋树祥; 夏海英

doi:10.16088/j.issn.1001-6600.2023121801

广西师范大学学报（自然科学版） ›› 2024, Vol. 42 ›› Issue (06) : 126 -137. DOI: 10.16088/j.issn.1001-6600.2023121801

头部姿态鲁棒的面部表情识别

侯海燕, 谭玉枚, 宋树祥, 夏海英

作者信息 +

Author information +

文章历史 +

摘要

针对面部表情识别中受头部姿态干扰导致识别性能低的问题，本文提出一种双分支特征融合(dual-branch feature fusion, DFF)方法，以增强面部表情识别的头部姿态鲁棒性。首先，在表情分支中，采用特征提取模块提取高维粗糙表情特征，再利用空间特征增强(spatial feature enhancement, SFE)模块增强高维表情特征在空间层面的信息交互，从而提升表情分支的表情特征提取能力。同时，在头部姿态分支中，利用预训练并固定权重的头部姿态特征提取(head pose feature extraction, HPFE)模块，提取出人脸表情图像的头部姿态特征。最后，将表情分支中的表情特征与头部姿态分支中的头部姿态特征逐元素相乘融合，实现特征间信息互补，得到对头部姿态鲁棒的情感表征。在RAF-DB和FERPlus数据集上针对2种头部姿态Pose(>30°)、Pose(>45°)进行实验评估：在RAF-DB数据集上识别准确率分别为89.98%、89.96%,在FERPlus数据集上分别为89.20%、87.94%。实验结果表明，本文提出的方法提高了存在头部姿态干扰时面部图像的表情识别准确率，对研究自然环境下面部表情识别具有一定贡献。