基于跨模态增强网络的时序多模态情感分析

王旭阳; 章家瑜

doi:10.16088/j.issn.1001-6600.2024081301

广西师范大学学报（自然科学版） ›› 2025, Vol. 43 ›› Issue (04) : 97 -107. DOI: 10.16088/j.issn.1001-6600.2024081301

基于跨模态增强网络的时序多模态情感分析

王旭阳, 章家瑜

作者信息 +

Author information +

文章历史 +

PDF

摘要

针对多模态情感分析中存在的模态间交互性差、时序性考虑不充分以及模态重要性不同等问题，本文提出一种基于跨模态增强网络的时序多模态情感分析框架(TCAN-SA)。首先，通过模态间交互模块增强各模态之间的信息交流；其次，引入双向时域卷积网络(BiTCN)层，以捕捉模态信息的时序特征；最后，采用多模态门控模块来平衡模态间的重要性差异。实验结果表明，该框架在公开数据集CMU-MOSI和CMU-MOSEI上表现优异，相较于现有模型，性能更为突出。