面向情感信息不对称的多模态情感识别

摘要

针对多模态情感识别中模态融合不充分与传统融合难以适应模态间情感信息不对称的问题，提出结合双路径交叉注意力与自适应加权融合的多模态情感识别模型，并分别为各模态设计特征学习模块，提取文本、视频和音频模态情感特征。融合阶段，模型以文本和视频为主导，音频为辅助，针对模态间情感信息不对称性设计双路径交叉注意力与自适应加权融合模块，通过交叉注意力强化模态间关联，动态学习两条路径的贡献参数。基于中文数据集CH-SIMS的实验结果表明，针对各模态设计特征学习模块并对模态间情感信息不对称性建模，可有效提升多模态情感特征的融合质量，进而提高情感识别准确率。

关键词

多模态情感识别 / 情感信息不对称 / 注意力机制 / 自适应加权 / 可学习图卷积网络

基金资助

国家自然科学基金项目(62201377); 山西省回国留学人员科研资助项目(2022-072)