结合多模态数据和混合模型的情绪识别

摘要

如何准确的识别人类情绪是一项颇具挑战性且十分有意义的任务，然而，由于情绪的复杂性，单一模态信号很难全面地描述情绪，而且基于生理信号的情绪识别准确率仍有可提升的空间.因此，本文提出了一种新颖的多模态轻量化情绪识别混合模型，名为FCAN-FFM-LightGBM,该模型主要由FCAN-FFM和LightGBM两部分构成，前者作为特征处理器，后者作为分类器.使用脑电信号(EEG)、眼电信号(EOG)和肌电信号(EMG)进行情绪识别.在DEAP公共数据集上进行广泛的实验验证，在四分类、唤醒维度和效价维度实验中分别取得了95.92%、97.22%和97.16%的准确率.结果表明，混合模型有助于提升情绪识别准确率且多模态的情绪识别准确率明显优于单模态.与其它方法相比，本文方法在取得较高情绪分类精度的同时降低了计算成本.

关键词

情绪识别 / 多模态 / 融合 / EEG / EMG / EOG

基金资助

国家自然科学基金项目(82060329)资助; 云南省基础研究项目(202201AT070108)资助