基于跨模态交叉注意力网络的多模态情感分析方法

王旭阳; 王常瑞; 张金峰; 邢梦怡

doi:10.16088/j.issn.1001-6600.2023052701

广西师范大学学报（自然科学版） ›› 2024, Vol. 42 ›› Issue (02) : 84 -93. DOI: 10.16088/j.issn.1001-6600.2023052701

基于跨模态交叉注意力网络的多模态情感分析方法

王旭阳, 王常瑞, 张金峰, 邢梦怡

作者信息 +

Author information +

文章历史 +

PDF

摘要

挖掘不同模态内信息和模态间信息有助于提升多模态情感分析的性能，本文为此提出一种基于跨模态交叉注意力网络的多模态情感分析方法。首先，利用VGG-16网络将多模态数据映射到全局特征空间；同时，利用Swin Transformer网络将多模态数据映射到局部特征空间；其次，构造模态内自注意力和模态间交叉注意力特征；然后，设计一种跨模态交叉注意力融合模块实现不同模态内和模态间特征的深度融合，提升多模态特征表达的可靠性；最后，通过Softmax获得最终预测结果。在2个开源数据集CMU-MOSI和CMU-MSOEI上进行测试，本文模型在七分类任务上获得45.9%和54.1%的准确率，相比当前MCGMF模型，提升了0.66%和2.46%,综合性能提升显著。