面向学习情感的多模态多尺度面部表情识别分析

摘要

针对学习情感识别中细微特征难以捕捉、数据样本稀缺等问题，提出了一种基于生成扩散模型与多模态多尺度视觉编码的面部情感识别方法。首先，构建融合多尺度全局和局部细节特征的学习情感数据集，并利用生成扩散模型对稀缺情感样本进行扩充，从而缓解少样本学习场景的数据约束；其次，设计了一种多模态多尺度视觉编码机制，通过融合原始人脸图像的全局特征与显著区域的局部细节信息，实现微表情与细粒度情感特征的高精度建模与有效融合。最后，在CNN、视觉Transformer及混合架构等多类模型上进行实验。结果表明，本文方法整体识别准确率达68.10%,相较于现有基准方法平均提升约2.98%,最高提升5.30%。消融实验进一步验证了生成扩散模型与多模态多尺度融合模块在增强模型对微表情细节捕捉及整体识别鲁棒性方面的有效性与协同作用。

关键词

学习情感 / 面部表情识别 / 人工智能 / 多模态 / 多尺度特征