基于MHSA⁃EDSCNet混合模型的运动想象多任务分类研究

Multi⁃Task Classification of Motor Imagery Based on MHSA⁃EDSCNet Hybrid Model

摘要

运动想象脑电信号解码是脑机接口技术的关键环节。针对传统深度学习方法难以获得脑电全局信息， 提出多头自注意力（MHSA）机制结合改进的深度可分离卷积网络（EDSCNet）模型， 用于运动想象多任务分类。首先， 通过滤波器组共空间模式提取不同子带共空间模式空域特征， 准确获取运动想象脑电的细粒度特征信息； 其次， 利用一维卷积改进深度可分离卷积网络， 进一步提取脑电局部空间信息和空间关联信息， 并结合多头自注意力机制， 更好地捕捉运动想象脑电特征的全局空间信息， 增强特征表征能力， 提高多任务分类准确率， 同时可减少模型参数和计算量； 最后， 在BCI Competition IV2a运动想象脑电数据集对该模型进行验证和评估， 并对左手、 右手、 双脚和舌头四类运动想象任务脑电特征进行可视化。结果表明： 模型在两个运动想象四类任务数据集， 分别获得95.35%和96.87%的平均分类准确率以及0.937 9和0.958 6的Kappa系数。模型特征可视化对大脑不同的运动想象任务能够显著区分， 并且模型对所有被试表现出一致的性能。

Abstract

Decoding motor imagery-based electroencephalography （EEG） signals is a crucial step in brain-computer interface （BCI） technology. To address the challenge of capturing global EEG information， this study proposes a model that combines a multi-head self-attention mechanism with an improved depthwise separable convolutional network （EDSCNet） for multi-task classification of motor imagery. Firstly， spatial features of different subbands are extracted using a filter bank common spatial pattern technique to capture fine-grained characteristics of motor imagery EEG accurately. Secondly， an enhanced one-dimensional convolutional network， the EDSCNet， is employed to capture local spatial information and spatial correlation of EEG signals. The model further incorporates a multi-head self-attention mechanism better to capture the global spatial information of motor imagery EEG， enhancing feature representation and improving multi-task classification accuracy， while reducing model parameters and computational complexity. Finally， the proposed model is validated and evaluated on the BCI Competition IV2a motor imagery EEG dataset， and the visualizations of EEG features for the left hand， right hand， both feet， and tongue motor imagery tasks are presented. The results demonstrate that the model achieves average classification accuracies of 95.35% and 96.87%， with Kappa coefficients of 0.937 9 and 0.958 6， respectively， on the two motor imagery datasets. The feature visualizations show distinct patterns for different motor imagery tasks in the brain. Moreover， the model exhibits consistent performance across all subjects.

Graphical abstract

关键词

脑电信号 / 深度可分离卷积 / 滤波器组共空间模式 / 多头自注意力

Key words

electroencephalogram / depthwise separable convolution / filter bank common spatial pattern / multi-head self-attention

0 引　言

脑机接口（Brain Computer Interface， BCI）作为一种人-机交互方式， 可实现大脑与外部设备直接的信息交换^［1］。大脑运动想象（Motor Imagery， MI）作为主观上的潜在运动意图， 能诱发大脑皮质产生特定反应， 从而通过解码运动想象脑电信号理解人的运动意图。MI脑机接口系统已用于神经康复^［2］、 假肢控制^［3‐4］、 拼写器和光标控制^［5-6］等， 且有望在认知监测和精神健康领域应用。

共空间模式（Common Spatial Pattern， CSP）^［7］是MI脑机接口系统中常见的特征提取方法， 可以有效提取脑电信号的空域特征。子带共空间模式^［8］是CSP算法的改进， 通过多个子带对运动想象脑电（Motor Imagery Electroencephalogram， MI-EEG）进行滤波， 每个子带提取CSP特征后经过线性判别器得到类别分数， 最后依据所有子带类别分数决策分类。子带共空间模式提高了分类准确率， 但忽略了不同子带CSP特征之间存在关联的问题。Ang等^［9］提出滤波器组共空间模式（Filter Bank Common Spatial Pattern， FBCSP）， 计算多个子带的CSP特征再进行合并， 并通过特征选择算法自动选择频段对和相应的CSP特征， 在BCI Competition IV 2a数据集上取得67.75%的平均分类准确率和0.57的Kappa系数。

由于MI-EEG信号复杂且具有多维结构， 近年来端到端的深度学习应用于运动想象任务分类研究。Lawhern等^［10］采用紧凑型网络EEGNet在运动想象脑电信号分析中取得较高的分类性能， 在BCI Competition IV2a数据集中取得74.50%的准确率和0.66的Kappa系数。彭禹等^［11］基于深度可分离卷积（Depthwise Separable Convolution， DSC）构建轻量级混合网络， 相较于EEGNet提高了4%的准确率和0.4的Kappa系数， 并在不同被试上表现稳定。由于卷积神经网络（Convolutional Neural Networks， CNN）无法利用EEG信号时间序列特征， 研究者们还采用循环神经网络和长短时记忆网络^［12-13］提取EEG信号的时间序列特征。这两种模型在处理EEG时间序列时， 虽然可以一定程度捕获脑电时间长期依赖性信息， 但脑电序列的时间跨度较大时， 长距离特征信息会呈指数级遗忘， 导致对时间长期依赖性信息的捕获存在困难。近年来， 基于注意力机制的Transformer模型在自然语言理解领域有广泛应用。采用多头自注意力（Multi-Head Self-Attention， MHSA）机制， 能够并行计算序列数据， 动态分配和整合信息以捕捉输入序列中不同时间信息之间的关联性， 从而实现全局依赖关系的感知和建模。Xie等^［14］通过在Transformer模型中融合时间卷积、 空间卷积和时空卷积， 基于PhysioNet数据集在运动想象任务二分类、 三分类和四分类中分别取得83.31%、 74.44%和64.22%的平均分类准确率。Song等^［15］经过时空卷积提取空间特征， 并且通过注意力机制增强通道之间的相关性， 构建混合模型， 在运动想象任务四分类BCI Competition IV2a数据集取得78.66%的准确率， 然而该模型较复杂， 容易过拟合， 并且不同被试的分类准确率差别较大。为了解决运动想象多任务分类模型准确率偏低、 计算复杂度高和不同被试任务分类精度差距大的问题， 本文提出了一种基于DSC并融合MHSA的混合模型。首先采用FBCSP方法提取脑电不同子带的CSP空域特征并合并， 获取运动想象脑电不同子带的空域特征； 然后构建适用于EEG信号的改进的深度可分离卷积模块， 即EDSCNet。该模块由一维卷积网络和DSC网络构成， 一维卷积层可更好地捕捉运动想象脑电序列中不同子带CSP空域特征的关联信息， DSC网络能够增强局部空间信息的提取， 并减少模型参数， 加快模型计算速度， 适用于脑电运动想象多任务分类。同时采用多头注意力机制将不同的头分配不同的任务， 每个头关注不同特征子空间的关键特征， 通过信息融合捕捉全局特征信息， 既有利于局部信息提取， 又能够捕获全局特征。最后经过多层感知机和分类模块共同构成MHSA-EDSCNet模型， 实现运动想象脑电信号多任务分类。

1 方法与设计

1.1 模型结构设计

混合模型总体框架如图 1 所示。它由FBCSP、 EDSCNet、 MHSA、 多层感知机和分类层5个部分构成， 其中EDSCNet模块由一维卷积与DSC组成。

首先， 对原始数据采用FBCSP 方法提取其不同子频带空域特征； 然后， 采用EDSCNet模块中一维卷积获取不同子带空域特征之间的相关性， 通过DSC中的逐通道卷积增强局部空间信息的提取， 并通过逐点卷积降低维度， 减少模型参数； 再经过MHSA机制， 感知特征的全局依赖关系， 得到全局融合特征； 最后， 经过多层感知机和Softmax进行多任务分类。

1.2 滤波器组共空间模式

CSP算法是一种常用的信号空间滤波方法， 在MI-EEG信号处理中得到广泛应用^［14］。CSP算法旨在找到投影矩阵， 将滤波器响应投影到新的特征空间， 使得在该空间中不同类别的数据具有最大的方差^［16］， 这个投影矩阵可以通过计算滤波器响应的协方差矩阵来获得， 通过投影矩阵， 最终可获得信号的共空间模式特征。

假设 E₁和 E₂为两个类别的时空信号矩阵， 其大小为N×M， N为通道数， M为每个通道的测量样本数。计算 E_i 的协方差矩阵为

{\mathit{R}}_i=\frac{{\mathit{E}}_i{\mathit{E}}_i^{\mathrm{T}}}{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{c}\mathrm{e}({\mathit{E}}_i{\mathit{E}}_i^{\mathrm{T}})}(i=\mathrm{1,2}),（1）

式中： \mathrm{t}\mathrm{r}\mathrm{a}\mathrm{c}\mathrm{e}({\mathit{E}}_i{\mathit{E}}_i^{\mathrm{T}})为矩阵{\mathit{E}}_i{\mathit{E}}_i^{\mathrm{T}}的对角线元素之和。

混合空间协方差矩阵为

\mathit{R}={\overline{\mathit{R}}}_{\mathrm{1}}+{\overline{\mathit{R}}}_{\mathrm{2}}\mathrm{。}（2）

协方差矩阵 R 是正定矩阵， 对其进行奇异值分解， 将特征值按降序排列， 并且对特征向量矩阵 B 进行白化， 得到矩阵 P。由此得到的投影矩阵 W 就是对应的空间滤波器。

\mathit{W}={\mathit{B}}^{\mathrm{T}}\mathit{P}\mathrm{。}（3）

FBCSP是CSP算法的改进， 通过构建滤波器组， 将信号依照不同频率范围划分为多个子带， 对每个子带信号利用CSP算法提取空域特征， 再将各个子带特征进行合并， 作为FBCSP特征。CSP一般应用于二分类任务， 多分类任务中可采用一对多策略。

1.3 深度可分离卷积

由于脑电测量成本高， 运动想象脑电样本数量较少， 本文基于DSC网络构建适用于少样本的MI-EEG分类任务。DSC网络将完整卷积运算分解为两步计算， 使得卷积操作更加高效并且减少了计算的冗余性。第一步为深度卷积， 也是逐通道卷积， 采用C个单通道卷积核对输入C个通道进行逐通道卷积， 得到每个通道的特征图， 减少通道之间的耦合并提取每个通道的局部信息。第二步为逐点卷积， 采用C₁个1×1卷积核进行卷积， 获得通道之间的相关性。在每一步卷积后都增加池化层降低参数量， 输出C₁个通道的特征。如图 2 所示。

对于DSC网络， 在逐通道卷积阶段， 假设输入为C个通道特征图， 与C个大小为M×M滤波器分别各自进行逐通道卷积， 最后输出C个通道的特征图。随后逐通道卷积输出的特征图与C₁个1×1×C的滤波器通过逐点卷积操作， 输出为C₁个通道大小为m×m的特征图， 则DSC网络的参数量C_s为

C_{\mathrm{s}}=M\times M\times C\times m\times m+m\times m\times C\times C_{\mathrm{1}}\mathrm{。}（4）

对于普通的卷积网络， 输入为C通道的特征图， 卷积核大小为M×M， 输出通道数为C₁， 特征图大小为m×m， 则此时普通卷积的参数量C_c 为

C_c=M\times M\times C\times m\times m\times C_{\mathrm{1}}\mathrm{。}（5）

二者比值为

\frac{C_s}{C_c}=\frac{\mathrm{1}}{C_{\mathrm{1}}}+\frac{\mathrm{1}}{M^{\mathrm{2}}}\mathrm{。}（6）

由于卷积过程中C₁与M的值一般为大于5的正整数， 所以DSC相较于普通卷积大大减少了模型参数量。但MI-EEG具有空间信息， 且不同频率之间具有相关性。为了提取不同频率子带CSP空域特征的相关性， 并保留小卷积核提取局部特征的优势， 同时减少模型参数， 加快计算速度， 提出改进的DSC网络， 即EDSCNet， 如图 3 所示。

对FBCSP不同子带CSP特征拼接得到（m， m）的特征矩阵， 使用C个（1， m）的一维卷积核进行卷积， 充分提取频域子带之间的关联信息； 第二层逐通道卷积使用C个单通道的小卷积核， 进一步提取局部信息； 第三层逐点卷积采用C₁（C₁<C）个1×1卷积核， 增强通道相关性并降低维度。

1.4 多头自注意力机制

卷积网络使用较小的卷积核， 虽然有效提取了局部信息， 但会导致模型感受野太小， 难以有效提取全局信息^［17］， 而自注意力机制能够有效获取全局信息， 弥补了卷积过程中边缘信息被弱化的问题。本文融合二者优势， 将上一层得到的C₁个通道输入MHSA模块， 利用MHSA机制将C₁个通道划为H头， 即将得到的特征分割成H个不同的子空间， 模型可以关注不同维度下子空间的全局信息。每个注意力头关注不同的特征， 可为模型提供多样性特征信息， 丰富模型对重要全局特征的理解和表示能力。最后， 将不同注意力头得到的子空间全局特征信息加权融合， 更好地提高模型表现能力。每个注意力头都有自己的参数和表示， 即使某些头出现问题或缺乏有效信息， 其他头仍然可以提供有用的表示， 减少了单一注意力机制的风险。具体步骤为： 构建查询（Query）向量， 键（Key）向量， 值（Value）向量， 计算查询向量键向量点积， 经过softmax得到注意力分布， 最后与值向量相乘得到其加权结果， 如式（7）。

Attention({\mathit{Q}}_i,{\mathit{K}}_i,{\mathit{V}}_i)=softmax\left(\frac{{\mathit{Q}}_i{\mathit{K}}_i^{\mathrm{T}}}{\sqrt[]{d_k}}\right)\mathit{V},（7）

式中： \sqrt[]{d_k}为缩放因子， 使其值归一化。

MHSA是在注意力机制的基础上， 对原本数据进行多维投影， 对多组数据做自注意力处理， 如式（8）。

\left\{\begin{array}{l}hea{d}_i=Attention({\mathit{Q}}_i{\mathit{W}}^Q,{\mathit{K}}_i{\mathit{W}}^K,V_i{\mathit{W}}^V),\\ i\in [\mathrm{1},H],\\ MultiHeadAttention(\mathit{Q},\mathit{K},\mathit{V})=\\ Concat(hea{d}_{\mathrm{0}},hea{d}_{\mathrm{1}},\dots ,hea{d}_H){\mathit{W}}^{\mathrm{0}},\end{array}\right.（8）

式中： H为MHSA的头数； head_i 为第i头的注意力机制得分。

MHSA机制结构如图 4 所示。其中， aⁱ 和a^j 为上一层卷积得到的H（以H=2为例）个通道， 且qⁱ， kⁱ， vⁱ 如式（9）。

q^i={\mathit{W}}^q{a}^i,k^i={\mathit{W}}^k{a}^i,v^i={\mathit{W}}^v{a}^i,（9）

式中： W^q， W^k， W^v 为3个不同权值的矩阵。计算head_i 如式（8）， 最后将得到的b^i，1和b^i，2合并构成bⁱ， 经过矩阵 W⁰得到不同维度的加权结果

b^i={\mathit{W}}^{\mathrm{0}}(b^{i,\mathrm{1}},b^{i,\mathrm{2})}\mathrm{。}（10）

2 模型实现与评价

2.1 数据集

本文使用BCI Competition IV2a数据集^［18］（http：//www.bbci.de/competition/iv/）， 该数据集由奥地利格拉茨工业大学提供， 一共记录了9名受试者左手、 右手、 双脚和舌头4种不同运动想象任务的 EEG 信号。每名被试在不同日期记录了两组运动想象脑电数据。每组试验中每名被试进行6轮运动想象， 每轮包括4种运动想象任务各12次。按图 5 所示的实验范式进行脑电记录， 实验采集装置有25个通道， 其中EEG电极有22个， 眼电（EOG）电极有3个。电极分布如图 6 所示， 符合国际10-20标准， 采样率为 250 Hz。脑电数据通过50 Hz的陷波滤波器消除工频干扰， 然后通过0.5~100 Hz的带通滤波器保留脑电波频率的主要成分。

本文使用的另一个数据集是BCl Competition III IIIa^［19］（http：//www.bbci.de/competition/iii/）， 共记录了3名受试者左手、 右手、 双脚和舌头4种不同运动想象任务的 EEG 信号。其中被试K3b共有360次试验样本， 被试K6b和L1b各有240次试验样本。按图 7 所示的实验范式进行脑电记录， 实验采集装置有60个通道。符合国际10-20标准， 采样率为250 Hz。

为了解决运动想象脑电数据样本数量少的问题， 进行脑电数据增强， 采用2 s的滑动窗， 间隔0.25 s步长进行滑动， 将脑电数据扩增至原来的5倍。

2.2 模型训练及策略

将脑电数据输入模型， 先经过FBCSP模块， 以间隔为2 Hz的滤波器组对［8 Hz， 30 Hz］的脑电进行频段分割， 再将分割后的每个子频带进行一对多CSP， 提取其空域特征， 从特征矩阵中选取差别最大和最小的各8个， 采用11个滤波器组， 得到（11*16， 11*16）的FBCSP特征。将特征输入EDSCNet模型， 首先经过EDSCNet模块进行三层卷积： 第一层使用44个大小为1×176的卷积核进行卷积， 得到卷积后的44个通道的一维特征； 第二层采用逐通道卷积， 对44个通道的特征采用大小为15×1的卷积核进行逐通道卷积； 第三层采用10个大小为1×1的卷积核逐点卷积， 最后得到10个通道的特征。再将特征输入5头注意力机制， 经过多层感知机和分类模块完成运动想象任务分类。模型损失函数使用交叉熵损失函数， 如式（11）。

loss=-\sum p_i(x)\mathrm{l}\mathrm{o}\mathrm{g}(q_i(x)),i=\mathrm{1,2},\cdots ,n,（11）

式中： p_i （x）为第i个目标概率分布； q_i （x）为第i个预测概率分布。

模型训练迭代次数为100轮， batch size设置为64， 使用Adam优化器， 并且采用学习率调节器使学习率可变， 即迭代5次损失值仍未下降则学习率乘以0.5衰减因子。为了防止网络过拟合和梯度爆炸， 在模型的每个模块都采用了Dropout技术。

实验环境为pycharm2021.3版本， 采用pytorch框架搭建模型， 硬件为NVIDIA GeForce GTX 1050Ti GPU。图 8 为BCI Competition IV2a数据集中被试A02脑电运动想象任务分类的准确率曲线和损失曲线。

2.3 评价指标

采用准确率（Accuracy， Acc）和Kappa系数评价模型性能。运动想象任务分类准确率指通过训练集训练得到的模型在测试集上进行分类时， 能够被正确分类的样本数与总的样本数的比值， 如式（12）所示。

Acc=\frac{TP+TN}{TP+TN+FP+FN},（12）

式中： TP表示将正类预测为正类； TN表示将负类预测为负类； FP表示将负类预测为正类； FN表示将正类预测为负类。

Kappa系数是用于一致性检验的指标， 也可以用于衡量分类的效果。对于分类问题， 一致性就是模型预测结果和实际分类结果是否一致。Kappa系数用来衡量分类精度， 是一致性检验的指标， 其值可基于混淆矩阵计算。

\left\{\begin{array}{l}{P}_k=\frac{Acc-P_{\mathrm{0}}}{\mathrm{1}-P_{\mathrm{0}}},\\ P_{\mathrm{0}}=\frac{a_{\mathrm{1}}\times b_{\mathrm{1}}+a_{\mathrm{2}}\times b_{\mathrm{2}}+\cdots a_n\times b_n}{n\times n},\end{array}\right.（13）

式中： ɑ₁为第1类真实样本个数； b₁为第1类预测样本个数； n为任务类别个数， 本文为4， 分别代表左手、 右手、 双脚和舌头4种运动想象任务。被试A02的混淆矩阵如图 9 所示。其中0， 1， 2， 3分别代表左手、 右手、 双脚和舌头4类运动想象任务。

3 结果与分析

3.1 模型结果分析

为了探究混合模型中加入不同模块对模型性能的影响， 分别采取DSCNet模块、 EDSCNet模块和MHSA-EDSCNet模块构建对应分类模型， BCI Competition IV2a数据集全部被试的平均分类准确率和Kappa系数如图 10 所示。

仅使用DSCNet模型平均分类准确率为69.38%， Kappa系数为0.587 4， 并且不同被试的准确率和Kappa系数方差大， 表明模型性能对不同被试的一致性不好； 采用EDSCNet模型， 其准确率得以提高到79.76%， Kappa系数提高到0.728 4， 有效提高了模型准确率但仍存在不同被试差距大的问题； 采用MHSA-EDSCNet模型， 可以达到95.65%的准确率和0.9379的Kappa系数， 并且方差小， 模型在不同被试上均有较好的准确率和Kappa系数， 证明加入MHSA模块可以更好地应用于MI-EEG多任务分类。

3.2 与其他方法对比分析

为了评估本文提出的模型对于脑电运动想象任务四分类的性能， 在BCI Competition IV2a公开数据集上， 分别与模型FBCSP、 EEGNet、 C2CM、 FBCNet和S3T进行对比， 结果如表 1 所示。

表 1 中的FBCSP是传统的机器学习方法， 采用多个滤波器组划分MI-EEG信号为多个子带， 每个子带都使用CSP提取空间特征， 采用朴素贝叶斯分类器进行分类。由表中可以看出该方法对不同被试的分类准确率差异较大， 说明传统机器学习无法很好解析脑电运动想象任务。EEGNet是深度学习方法， 采用轻量型卷积端到端进行特征提取， 相对于传统的机器学习， 深度学习方法解码脑电具有更高的准确率， EEGNet比FBCSP提高了7%的准确率。C2CM方法采用FBCSP与CNN融合方法， 对CSP提取的特征进行卷积分析， 有效结合了传统机器学习与深度学习的优势， 该方法对于大部分被试的分类结果稍优于EEGNet， 但是其平均准确率没有提高。FBCNet方法先通过滤波器组对MI-EEG分割为子带， 然后采用CNN进行提取特征并分类， 相较于EEGNet与C2CM方法， 其准确率有所提高， 但是A02和A08被试的分类准确率下降， 模型对不同被试一致性差。上述3种方法都受限于普通卷积网络感受野小的问题， 忽略了脑电信号全局相关性。而S3T先通过CSP提取空域特征并经过时空卷积与注意力机制提取空域相关信息， 最后利用多头注意力机制实现任务分类， 平均准确率达到了82.59%， 表明多头注意力机制有效解决了卷积网络感受野小的问题， 但是不同被试的分类准确率差异较大。

由表 1 可知， 在BCI IV 2a数据集上与其他方法对比， 本文模型展现出更高的平均准确率（95.35%）和Kappa系数（0.9379）， 并且9个不同被试分类准确率差异小， 模型一致性好。由表 2 可知， 在BCI III IIIa数据集上， 本文模型也获得了最好的运动想象多任务分类性能， 平均分类准确率达到96.87%， Kappa系数为0.958 6。本文模型的优势在于采用EDSCNet模块提取运动想象脑电信号子带空域特征的局部信息， 减少模型参数量并降低特征维度， 通过MHSA机制融合运动想象脑电的局部特征与全局特征， 提高了模型分类准确率， 解决了深度学习中小样本脑电数据容易过拟合的问题， 更适用于运动想象多任务分类。

3.3 特征可视化

为了直观地展示四类运动想象任务的脑电特征数据， 使用t-SNE对特征数据降为二维并可视化， 以被试A02为例， 特征可视化如图 11 所示。图 11（a） 为原始脑电数据经过t-SNE降维后的结果， 可以发现四类运动想象任务的脑电数据完全混杂， 难以区分。图 11（b） 为经过FBCSP后的四类运动想象任务的脑电特征， 可以发现4个类别的特征数据有效分散， 但仍然混杂在一起。图 11（c） 为经过MHSA-EDSCNet模型得到的四类运动想象任务脑电特征， 可以发现四类特征有了较好的聚类， 且能很好地区分开， 表明本文提出的模型对于运动想象多任务分类是有效的。

4 结　语

本文将卷积网络提取局部特征优势与MHSA提取全局特征的优势结合构建MHSA-EDSCNet模型， 用于运动想象脑电信号解码。本模型使用改进DSC有效提取局部特征和不同频域子带空间关联信息， 并减少模型参数量， 加快计算速度。同时， 融合MHSA使模型能够从多个角度学习脑电信号的全局特征。实验结果表明， 本文模型在MI-EEG多任务分类方面取得了良好的分类性能以及不同被试较好的一致性， 并通过特征可视化直观地展示了大脑想象左手、 右手、 双脚和舌头运动的特征， 可有效区分不同的运动想象任务， 为脑机接口技术的发展提供了新的思路和方法。

参考文献

[1] 冯洋， 乔晓艳. 基于迁移学习的运动想象脑电信号分类研究［J］. 测试技术学报， 2022， 36（5）： 376-383.

[2] FENG Yang， QIAO Xiaoyan. Classification of motor imagery EEG signals based on transfer learning［J］. Journal of Test and Measurement Technology， 2022， 36（5）： 376-383. （in Chinese）

[3] LIAO W， LI J， ZHANG X， et al. Motor imagery brain-computer interface rehabilitation system enhances upper limb performance and improves brain activity in stroke patients： a clinical study［J］. Frontiers in Human Neuroscience， 2023， 17： 1117670.

[4] AL-QURAISHI M S， ELAMVAZUTHI I， TANG T B， et al. Multimodal fusion approach based on EEG and EMG signals for lower limb movement recognition［J］. IEEE Sensors Journal， 2021， 21（24）： 27640-27650.

[5] 邓欣， 肖立峰， 杨鹏飞， 等. 融合运动想象脑电与眼电信号的机械臂控制系统开发［J］. 智能系统学报， 2022， 17（6）： 1163-1172.

[6] DENG Xin， XIAO Lifeng， YANG Pengfei， et al. Development of a robot arm control system using motor imagery electroencephalography and electrooculography［J］. CAAI Transactions on Intelligent Systems， 2022， 17（6）： 1163-1172. （in Chinese）

[7] KAWALA-STERNIUK A， BROWARSKA N， AL-BAKRI A， et al. Summary of over fifty years with brain-computer interfaces-a review［J］. Brain Sciences， 2021， 11（1）： 43.

[8] ALLISON B Z， BRUNNER C， ALTSTÄTTER C， et al. A hybrid ERD/SSVEP BCI for continuous simultaneous two dimensional cursor control［J］. Journal of Neuroscience Methods， 2012， 209（2）： 299-307.

[9] BLANKERTZ B， TOMIOKA R， LEMM S， et al. Optimizing spatial filters for robust EEG single-trial analysis［J］. IEEE Signal Processing Magazine， 2008， 25（1）： 41-56.

[10] NOVI Q， GUAN C， DAT T H， et al.Sub-band common spatial pattern（SBCSP） for brain-computer interface［C］//2007 3rd International IEEE/EMBS Conference on Neural Engineering， 2007： 204-207.

[11] ANG K K， CHIN Z Y， ZHANG H， et al. Filter bank common spatial pattern （FBCSP） in brain-computer interface［C］//2008 IEEE International Joint Conference on Neural Networks （IEEE World Congress on Computational Intelligence）， 2008： 2390-2397.

[12] LAWHERN V J， SOLON A J， WAYTOWICH N R， et al. EEGNet： a compact convolutional neural network for EEG-based brain-computer interfaces［J］. Journal of Neural Engineering， 2018， 15（5）： 056013.

[13] 彭禹， 宋耀莲， 杨俊. 基于数据增强的运动想象脑电分类［J］. 计算机应用， 2022， 42（11）： 3625-3632.

[14] PENG Yu， SONG Yaolian， YANG Jun. Motor imagery electroencephalography classification based on data augmentation［J］. Journal of Computer Applications， 2022， 42（11）： 3625-3632. （in Chinese）

[15] TORTORA S， GHIDONI S， CHISARI C， et al. Deep learning-based BCI for gait decoding from EEG with LSTM recurrent neural network［J］. Journal of Neural Engineering， 2020， 17（4）： 046011.

[16] SHOEIBI A， SADEGHI D， MORIDIAN P， et al. Automatic diagnosis of schizophrenia in EEG signals using CNN-LSTM models［J］. Frontiers in Neuroinformatics， 2021， 15： 777977.

[17] XIE J， ZHANG J， SUN J， et al. A transformer-based approach combining deep learning network and spatial-temporal information for raw EEG classification［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering： a Publication of the IEEE Engineering in Medicine and Biology Society， 2022， 30： 2126-2136.

[18] SONG Y， ZHENG Q， LIU B， et al. EEG conformer： convolutional transformer for EEG decoding and visualization［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2023， 31： 710-719.

[19] RAMOSER H， MULLER-GERKING J， PFURTSCHELLER G. Optimal spatial filtering of single trial EEG during imagined hand movement［J］. IEEE Transactions on Rehabilitation Engineering， 2000， 8（4）： 441-446.

[20] HE J， ZHAO L， YANG H， et al. HSI-BERT： hyperspectral image classification using the bidirectional encoder representation from transformers［J］. IEEE Transactions on Geoscience and Remote Sensing， 2020， 58（1）： 165-178.

[21] TANGERMANN M， MÜLLER K R， AERTSEN A， et al. Review of the BCI competition IV［J］. Frontiers in Neuroscience， 2012， 6： 55.

[22] BLANKERTZ B， MÜLLER K R， KRUSIENSKI D J， et al. The BCI competition. III： Validating alternative approaches to actual BCI problems［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering： a Publication of the IEEE Engineering in Medicine and Biology Society， 2006， 14（2）： 153-159.

[23] SAKHAVI S， GUAN C， YAN S. Learning temporal information for brain-computer interface using convolutional neural networks［J］. IEEE Transactions on Neural Networks and Learning Systems， 2018， 29（11）： 5619-5629.

[24] MANE R， ROBINSON N， VINOD A P， et al. A multi-view CNN with novel variance layer for motor imagery brain computer interface［C］//2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society （EMBC）， 2020： 2950-2953.

基金资助

山西省回国留学人员科研资助项目(2020-009)