自适应门控解耦特征融合的多模态情感分析

摘要

现有的多模态情感分析研究主要通过不同模态特征的整体交互进行不同模态信息的融合，未考虑不同模态包含的独有特征以及共有特征之间的联系，导致无法有效分析复杂的情感。针对上述问题，本文提出了自适应门控解耦特征融合的多模态情感分析模型（AGDF）。首先，利用预训练的BERT模型和Transformer模型进行不同模态的特征提取。其次，根据不同模态的共有特征相似而独有特征不相似的原理构造对比对，通过对比学习的方法，将不同模态的特征分解为独有特征和共有特征。然后，根据图像和语音模态在文本模态存在偏移的原理，设计了一种新的自适应门控机制进行特征融合，将其他模态信息融于文本模态。同时，设计了独有特征和共有特征的联系图，利用图注意力神经网络进行融合，以平衡模态之间的独有信息和共有信息。最后，对融合特征进行分类。在数据集CMU-MOSI、 CMU-MOSEI上进行了实验，结果显示本文方法比基线方法在准确率和F1分数上均提高了约1百分点。此外，与其他特征分解方法相比，本文方法的准确率提高了1.23百分点，F1分数提高了1.37百分点，Corr提高了2.13百分点，MAE降低了4.83百分点。综合结果表明，本文提出的方法能够更加充分利用不同模态的异质信息，从而有效提高情感识别的效果。

关键词

情感分析 / 对比学习 / 图神经网络 / 多模态信息融合 / 自适应门控