文本导向的多任务多模态情感感知分析模型

臧洁; 李翔; 卢睿; 廖慧之; 任赛赛; 卢珊

doi:10.16197/j.cnki.lnunse.2026.01.004

辽宁大学学报（自然科学版） ›› 2026, Vol. 53 ›› Issue (01) : 51 -61. DOI: 10.16197/j.cnki.lnunse.2026.01.004

文本导向的多任务多模态情感感知分析模型

臧洁, 李翔, 卢睿, 廖慧之, 任赛赛, 卢珊

作者信息 +

Author information +

文章历史 +

PDF

摘要

针对现有多模态情感分析模型在对文本模态信息的重视及上下文利用方面存在的不足，本文提出一种融合文本增强和跨模态交互注意力机制的多任务多模态情感感知分析模型.通过引入基于GPT的文本增强技术，提升情感词识别能力，加强文本模态；采用跨模态交互注意力机制，融合视觉、音频与文本信息；应用同方差不确定性损失函数，优化多任务权重调整.在CMU-MOSI和CMU-MOSEI数据集上，将本模型与基线模型进行比较，ACC2和F1指标分别达到87.2%和85.8%,优于基线模型，证明了本模型的有效性，并显著提升了多模态情感感知分析性能.