融合多路径卷积与Transformer的脑电情绪识别

摘要

针对脑电信号情绪识别中存在的特征提取和时空依赖建模不足等问题，提出一种融合多路径卷积模块(multi-path convolutional network, MPCN)、双向长短期记忆网络(bi-directional long short-term memory, Bi-LSTM)与混合注意力Transformer(hybrid attention transformer, HAT)的网络模型。设计频-空-时三维模块，通过带通滤波提取多频段差分熵特征，并结合空间重组与时序切片构建三维张量输入，实现频域、空间和时间特征的深度融合；由深度可分离卷积和空洞卷积构成的MPCN对EEG信号的多频段局部频域-空间特征进行多尺度提取，提升特征区分度；Bi-LSTM网络引入Mish激活函数，通过双向门控机制捕捉情绪信号的长短期时序依赖，优化梯度流动以增强模型对情绪渐变过程的敏感性。设计HAT模块通过自注意力与交叉注意力机制，动态对齐时空特征，促进多源信息的全局融合。基于SEED数据集的实验结果表明，该模型在三分类任务中的准确率达到97.79%,较现有方法有明显提升。

关键词

脑电情绪识别 / 多路径 / 注意力 / 时空特征 / Transformer