基于反事实文本去偏的多模态情感分析

摘要

多模态情感分析，作为一个极具挑战性的研究领域，融合了文本、音频与视频3种模态以分析人的情感倾向。现有的研究认为文本模态在情感预测中占据主导地位，然而，这也引发了一个潜在问题：机器学习模型在训练过程中往往倾向于构建输入输出间的相关关系，过度依赖文本可能导致模型错误地建模文本与情感标签之间虚假的相关关系，削弱模型的泛化能力。为应对这一挑战，创新性地提出一种基于反事实文本去偏的多模态情感分析框架(CFTB),该算法首先运用因果图，深入剖析3种模态与情感标签之间的因果关系。随后，精心构建了一个辅助文本模型，旨在精准量化文本模态对情感预测的直接影响，并通过注意力机制精准捕捉那些可能引发虚假关联的文本特征。在推理阶段，CFTB算法展现出独特的优势：它能够智能地从多模态信息的全效应中剥离出由虚假文本关联导致的负面影响，同时保留并强化文本模态中真正有助于情感预测的正面影响。在MOSEI和MOSI两个数据集上的实验表明，该框架可以有效地集成到现有方法中，具有良好的泛化性能。

关键词

因果推断 / 伪相关关系 / 反事实 / 多模态情感分析 / 注意力机制