基于Gabor卷积和Transformer的课堂表情识别研究

摘要

为了针对复杂环境变化无法精准识别学生表情问题，本文设计了一个基于Gabor卷积和Transformer的表情识别模型Gabor-Vision-Transformer(GVT).将Gabor卷积和Transformer的思想相结合，设计了一个特征提取块GVT-Block.首先通过Gabor卷积提取富含丰富纹理和边缘信息的面部局部特征，再通过Transformer提取全局数据之间的长距离信息，从而更好地学习面部关键特征，显著提高模型的分类效果.GVT模型在RAF-DB和FER2013Plus数据集上的准确率分别为88.56%和87.38%,并与多个模型进行对比实验和分析，验证了本模型效果的优越性.

关键词

表情识别 / Gabor卷积网络 / Transformer