多尺度卷积结合时序建模的多维脑电情感识别

摘要

脑电信号(electroencephalogram, EEG)在情感识别领域受到广泛关注。然而，现有方法多侧重于空间和时间维度，却忽视频段维度，存在时空频特征提取不足问题。提出一种基于多尺度卷积与时序建模的特征融合网络(multi-scale convolution and temporal modeling for feature fusion network, MSCTF-Net)进行脑电情绪识别。将脑电信号重构为多维形式输入，设计多尺度空间卷积和频段卷积模块，从三维空频矩阵的空间和频段维度提取空间-频率信息；引入双向长短时记忆网络(Bi-LSTM)对二维时频矩阵进行时序建模，提取时间-频率特征；提出门控特征融合模块进行特征融合。模型在SEED数据集上的平均准确率为96.63%,在SEED-Ⅳ数据集上的平均准确率为91.58%,优于现有的多种深度学习方法。

关键词

脑电信号 / 情绪识别 / 微分熵 / 多尺度卷积 / Bi-LSTM / 特征融合

基金资助

吉林省高教科研课题(JGJX24C043)