基于双流特征和注意力机制的人脸表情识别

摘要

人脸表情识别是一项具有挑战性的分类任务，在人机交互领域具有广泛的应用前景。为解决人脸表情识别中细微表情变化和多尺度引起识别准确率低等问题，提出基于双流特征和注意力机制的人脸表情识别的方法。分别采用MobileFaceNet和IResNet50提取人脸表情的面部标志特征和图像特征，设计基于关键点掩码的Vision Transformer (ViT)计算面部标志特征的注意力权重，从而感知面部标志区域。同时，引入分流注意力(SSA)计算图像特征的注意力权重，对不同尺度的图像信息进行加权融合，增强了网络对多尺度特征表达的适应性。最后采用交叉融合多头自注意力机制(CFMSA)对双流特征(面部标志特征和图像特征)进行交叉融合，使面部标志特征引导图像特征优先关注人脸面部标志区域，以提高识别的准确率。所提方法在RAF-DB、AffectNet-7、AffectNet-8数据集上识别准确率分别为91.59%、67.51%和63.82%,试验结果表明该方法有效解决了因微表情变化和多尺度因素导致的识别准确率低的问题。

关键词

双流特征 / 注意力机制 / 多尺度 / Vision Transformer(ViT) / 交叉注意力

基金资助

国家自然科学基金(62001099)