基于上下文感知的Transformer多模态情感分析研究

摘要

旨在探索一种结合视觉和听觉信息的多模态情感识别方法，以提高情感状态检测的准确性和鲁棒性.提出了一个基于Transformer编码器和长短期记忆(Long Short-Term Memory, LSTM)网络的混合模型，用于处理和分析来自视频和音频的情感数据.首先使用Transformer编码器对多模态数据进行统一编码表示，然后利用LSTM网络对时序信息进行建模，以捕捉不同模态信息之间的交互.通过在MOSI数据集上的实验验证，提出的模型在情感识别任务上尤其是在处理复杂情感表达和非言语线索方面表现出了优越的性能.

关键词

多模态情感识别 / 深度学习 / 长短期记忆网络 / 自注意力机制 / Transformer