基于面部图像和心率变异性的多模态融合情感识别算法

摘要

针对虚拟运动中无法有效识别用户情感的问题，本文提出一种基于面部图像和心率变异性模态的多模态融合情感识别算法．通过分析捕捉面部图像和心率变异性两种模态下的数据信息，敏锐洞察用户的情绪变化，进而为用户打造贴合其当下状态的个性化人机交互体验．首先设计多模态融合Transformer对面部图像和心率变异性进行多模态互补学习，然后使用多模态特征融合将融合特征与原始特征进行拼接，同时，使用轻量化自注意力机制学习多模态内的高级表示．最终在两个公开数据集上进行了大量实验，结果显示所提出的方法具有更好的性能．实验结果表明，所提出的方法切实有效，可以指导用户体验系统的设计和开发．

关键词

多模态情感识别 / Transformer / 卷积神经网络 / 双向长短期记忆网络

基金资助

国家自然科学基金（62072150,6257076952）