基于两阶段缺失模态恢复的多模态情感分析方法

王嫄, 邓振宇, 王佳鑫, 张帅, 赵婷婷, 于琦

doi:10.13364/j.issn.1672-6510.20230188

天津科技大学学报 ›› 2025, Vol. 40 ›› Issue (01) : 57 -63+80. DOI: 10.13364/j.issn.1672-6510.20230188

基于两阶段缺失模态恢复的多模态情感分析方法

王嫄, 邓振宇, 王佳鑫, 张帅, 赵婷婷, 于琦

作者信息 +

Author information +

文章历史 +

PDF (959K)

摘要

在多模态情感分析任务中，在模态缺失时存在整体多模态与单模态情感表达不一致、情感会因模态缺失而发生变化的情况。现有方法忽略缺失模态潜在的特异性语义内涵和情感表达，导致情感分析性能下降。为了解决这个问题，本文提出基于两阶段缺失模态恢复的多模态情感分析模型。首先恢复缺失模态特征，通过不变模态翻译模块恢复缺失模态与文本模态的同构信息，接着通过相似模态翻译模块在视觉词典中恢复缺失模态的异构信息，然后将已知模态和恢复的缺失模态进行融合，实现具有一致性的情感分析。在CMU-MOSI和IEMOCAP数据集上的实验表明，该模型能够有效检测和恢复缺失模态语义特征，缓解多模态与单模态情感表达不一致的问题，并具有显著的性能优势。