面向情感信息不对称的多模态情感识别

秦培玉, 李鸿燕, 丁思森, 郑泽

重庆理工大学学报(自然科学版) ›› 2026, Vol. 40 ›› Issue (03) : 167 -175.

PDF
重庆理工大学学报(自然科学版) ›› 2026, Vol. 40 ›› Issue (03) : 167 -175.

面向情感信息不对称的多模态情感识别

    秦培玉, 李鸿燕, 丁思森, 郑泽
作者信息 +

Author information +
文章历史 +
PDF

摘要

针对多模态情感识别中模态融合不充分与传统融合难以适应模态间情感信息不对称的问题,提出结合双路径交叉注意力与自适应加权融合的多模态情感识别模型,并分别为各模态设计特征学习模块,提取文本、视频和音频模态情感特征。融合阶段,模型以文本和视频为主导,音频为辅助,针对模态间情感信息不对称性设计双路径交叉注意力与自适应加权融合模块,通过交叉注意力强化模态间关联,动态学习两条路径的贡献参数。基于中文数据集CH-SIMS的实验结果表明,针对各模态设计特征学习模块并对模态间情感信息不对称性建模,可有效提升多模态情感特征的融合质量,进而提高情感识别准确率。

关键词

多模态情感识别 / 情感信息不对称 / 注意力机制 / 自适应加权 / 可学习图卷积网络

Key words

引用本文

引用格式 ▾
秦培玉, 李鸿燕, 丁思森, 郑泽. 面向情感信息不对称的多模态情感识别[J]. 重庆理工大学学报(自然科学版), 2026, 40(03): 167-175 DOI:

登录浏览全文

4963

注册一个新账户 忘记密码

参考文献

AI Summary AI Mindmap
PDF

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/