跨模态特征增强与层次化MLP通信的多模态情感分析

王旭阳; 马瑾

doi:10.16088/j.issn.1001-6600.2025040903

广西师范大学学报（自然科学版） ›› 2026, Vol. 44 ›› Issue (1) : 91 -101. DOI: 10.16088/j.issn.1001-6600.2025040903

跨模态特征增强与层次化MLP通信的多模态情感分析

王旭阳, 马瑾

作者信息 +

Author information +

文章历史 +

PDF

摘要

在多模态情感分析任务中，由于非语言模态信息利用不充分、跨模态交互缺乏细粒度关联建模以及层次化语义融合机制不完善，导致不同模态之间的情感信息难以实现有效融合。为此，本文提出一种跨模态特征增强与层次化MLP通信的多模态情感分析方法。该方法构建渐进式融合架构，首先通过跨模态注意力机制增强非语言模态信息，捕捉多对多的跨模态细粒度交互；继而使用层次化MLP通信模块，在模态融合维度与时间建模维度上分别设计并行与堆叠的MLP模块，实现水平与垂直方向的层次化特征交互，有效提升情感理解的准确性与表达能力。实验结果表明，本文模型在CMU-MOSI上，Acc2和F₁值较次优模型分别提升0.89和0.77个百分点，在CMU-MOSEI上对比实验各项指标均优于基准模型，Acc2、F₁值分别达到86.34%、86.25%。