基于双服务器联邦学习的运动想象脑电解码

Motor Imagery EEG Decoding Based on Dual⁃Server Federated Learning

摘要

针对脑电数据不足和数据异构导致运动想象解码性能下降， 提出一种融合双服务器结构和多头注意力机制的联邦学习模型， 实现异构脑电数据的运动想象多任务识别。通过欧几里得对齐， 减少客户端数据分布差异。设计双服务器架构解决数据异构， 服务器一选择并共享本地模型的最佳特征， 将其作为全局共享资源改进客户端更新策略， 解决客户端漂移问题； 服务器二聚合本地模型参数， 并进行全局参数微调训练， 增强模型适应不同场景脑电数据异构的能力， 提高全局模型的通用性。利用Transfomer多头自注意力， 提高运动想象脑电的特征表示和模型学习能力。在BCI IV 2a脑机接口竞赛数据集上， 该模型与联邦学习基准模型相比， 脑电解码平均准确率提升了21.05百分点， Kappa值提升了0.283。在两个脑电数据集进行不同用户、 不同环境和设备的跨数据集测试， 脑电解码分别获得了71.13%和86.63%的平均准确率以及0.615和0.822的Kappa系数。结果表明： 该模型在多用户、 多设备且数据高度异构的场景下， 运动想象脑电识别能够获得较好的性能， 具有较强的泛化性。

Abstract

To address the decline in decoding performance due to the lack of motor imagery electroencephalography （EEG） data and data heterogeneity， this study proposes a federated learning model. This model integrates a dual-server structure and multi-head attention mechanism to facilitate the recognition of motor imagery tasks in heterogeneous EEG data. Reducing differences in EEG data distribution between clients by Euclidean alignment methods. The dual-server architecture is designed to tackle data heterogeneity. Server One identifies and shares optimal features from the local model， using them as a globally shared resource to improve client update strategies and resolve client drift issues. Server Two consolidates parameters from the local model， performing global parameter fine-tuning training to enhance the model's adaptability to heterogeneous EEG data in different scenarios， thereby improving the universality of the global model. The incorporation of the Transformer’s multi-head self-attention enhances feature representation and learning capability of motor imagery EEG. On the BCI IV 2a Brain-Computer Interface competition dataset， this model shows a 21.05 percent point improvement in EEG decoding average accuracy and a 0.283 increase in the Kappa value compared to the federal learning benchmark model. In cross-dataset testing with different users， environments， and equipment on two EEG datasets， the EEG decoding achieved average accuracies of 71.13% and 86.63% and Kappa coefficients of 0.615 and 0.822， respectively. The results demonstrate that this model can deliver stable performance in scenarios with multiple users and devices， and highly heterogeneous data， exhibiting strong generalizability.

Graphical abstract

关键词

运动想象脑电 / 数据异构 / 联邦学习 / 双服务器架构 / 多头自注意力

Key words

motor imagery electroencephalogram / heterogeneous data / federated learning / dual-server architecture / multi-head self-attention

0 引　言

脑机接口（Brain-Computer Interface， BCI）是一种通过解码神经活动， 实现大脑与外部设备直接通信的技术^［1-2］。运动想象BCI通过脑电信号识别不同的想象任务， 实现脑电解码。然而， 运动想象脑电信号（Motor Imagery-Electroencephalogram， MI-EEG）解码面临着诸多挑战， 特别是脑电数据不足和数据异构性问题^［3］。运动想象脑电数据不足限制了模型的训练效果， 而不同被试、 不同设备、 不同采集环境获取的脑电数据存在异构， 进一步加剧了模型设计的复杂性， 影响运动想象脑电解码的精确度和模型的泛化能力。

针对脑电数据异构， 研究者对模型训练方法进行了许多探索^［4］。徐慧等^［5］通过黎曼切空间对齐算法缩小不同域之间的数据分布差异。王耀杰^［6］使用Transformer模型的多头自注意力机制检测来自不同主体的有效信号段， 以此解决脑电数据个体差异问题。欧几里得对齐（Euclidean Alignment， EA）^［7］数据预处理、 域适应^［8］、 生成对抗网络^［9］等迁移学习技术， 都旨在减少不同被试之间脑电数据分布的差异性。这些集中式模型训练方法虽然对特定被试或特定数据集能获得较高的分类准确率， 但难以有效整合多被试、 多数据集进行共同训练， 从而影响模型性能。

为了解决集中式训练存在的问题， 联邦学习（Federated Learning， FL）^［10］分布式训练框架及联邦聚合FedAvg方法的提出， 为跨用户、 跨数据集的训练提供了新思路。FL采用多个用户协同训练模型， 不仅扩大了训练数据的规模， 还促进了深度学习模型对不同数据集的泛化。基于FedAvg的更新策略， FL方法被开发应用于医学领域， 如心脏病预测^［11］和脑电信号处理^［12-13］等。

在FL框架下， 研究者提出了多种方法解决数据非独立同分布导致的异构性问题。Li等^［14］提出的FedProx算法， 在每个客户端目标函数中加入近端损失项， 限制本地更新与全局模型之间的偏离程度， 从而缓解数据异构性。Karimireddy等^［15］在FedAvg方法的基础上改进， 提出联邦随机控制平均算法， 该算法通过在优化函数中引入客户端控制变量以减小方差， 从而纠正系统的训练方向， 缓解非独立同分布数据的收敛性问题。在运动想象脑电解码领域， Ju等^［16］提出基于脑电空间协方差矩阵的联邦迁移学习方法， 将不同被试的脑电数据映射到一个公共空间， 实现客户端数据特征的对齐， 从而减小数据异构性的影响， 在运动想象任务二分类PhysioNet数据集上达到了63.30%的分类准确率。Hang等^［17］利用被试脑电的结构信息计算虚拟类中心， 通过对齐多个客户端对应的虚拟类中心从而减轻异构脑电数据引发的联邦学习客户端漂移问题， 在运动想象任务四分类BCI IV 2a数据集上达到了61.34%的平均准确率。

尽管上述方法在一定程度上解决了数据异构问题， 但过于依赖单一服务器进行全局模型聚合， 忽视了各客户端之间潜在的可共享信息， 对提升数据异构的处理能力有限。并且， FedProx和联邦随机控制平均算法在进行全局模型聚合时， 未能充分考虑各客户端本地模型间的差异性， 聚合后的全局模型会在部分客户端上表现不佳， 难以全面适应所有客户端。此外， 空间协方差矩阵的联邦迁移学习算法对于模型结构如何影响并提升整个联邦学习的性能尚未有深入研究。因此， 在多样化的客户端， 训练本地模型有效捕捉不同用户脑电特征， 同时在服务器端也能高效聚合本地参数的联邦学习模型架构， 是运动想象脑电解码亟待解决的关键问题。

基于此， 本文提出一种融合双服务器和Transformer多头注意力机制的联邦学习模型（Dual Servers and Transformer-Federated Learning， DST-FL）， 旨在探索一种高效、 鲁棒的MI-EEG解码方法， 解决BCI领域脑电数据异构导致运动想象任务分类识别性能差的问题。首先， 通过EA数据对齐及共空间模式（Common Spatial Pattern， CSP）特征提取对脑电数据进行预处理， 减小被试间脑电数据差异并凸显数据中潜在的判别性特征。其次， 设计双服务器模型架构解决数据异构问题， 双服务器协同工作， 服务器一用于脑电特征选择和共享， 负责对各本地模型提取的特征进行最佳特征选取， 并将其作为全局共享资源下发给各个客户端； 服务器二聚合来自各客户端的本地模型参数， 形成全局模型， 并通过微调训练优化参数， 将全局模型参数共享给各客户端。在客户端本地模型训练中， 引入全局特征与本地特征的损失项， 修正本地模型训练方向， 促进模型对异构数据的分布式训练最终达到一致， 提高全局模型通用性和稳定性。此外， 本地模型采用卷积块和Transformer多头注意力机制， 挖掘运动想象脑电信号的复杂模式和脑电序列的长距离依赖关系， 提升运动想象脑电特征表征能力， 提高脑电解码的准确性。

1 模型与方法

1.1 改进的联邦学习整体架构设计

DST-FL在经典联邦学习框架上进行改进， 该模型由两个服务器（Server1和Server2）和多个客户端（Client）组成， 如图 1 所示。每个客户拥有一个用户（被试）的运动想象脑电数据， 经过数据处理之后的脑电数据用于客户端本地模型的训练。然后， 将各个本地模型训练的特征上传至Server1， 通过Server1选择最佳特征， 再将特征下发共享给所有本地模型， 改进各个客户端模型的更新策略。与此同时， 客户端将各个本地模型训练的参数上传至Server2， 进行参数聚合构建全局模型， 并通过微调训练全局模型参数形成最终模型， 用于不同运动想象任务识别， 即实现脑电解码。

1.2 本地和全局模型

DST-FL架构中， 本地模型和全局模型采用相同的模型结构， 如图 2 所示， 包含卷积模块、 Transformer多头注意力模块和分类模块。受文献［18］启发， 卷积模块由两个时间卷积和一个空间卷积组成， 提取脑电的局部时空特征， 并在每一个卷积后面均衔接了批归一化（Batch Normalization）和平均池化（Average Pooling）操作。

目前， Transformer是运动想象脑电解码较好的方法， 其在处理脑电信号时能够有效提高解码精度和特征表示能力^［6］。这是因为Transformer多头自注意力机制能够深入捕捉脑电时间序列数据中不同时间点之间的复杂关系， 进而提升运动想象脑电的特征表示和模型学习能力。此外， 相较于其他方法， Transformer多头自注意力通过并行处理多个注意力头， 增强模型对数据的全局感知能力， 从而提高了在不同被试和数据集上的泛化性能。因此， 本文选择Transformer多头自注意力机制提升模型的整体性能。Transformer多头注意力模块^［19］由N个自注意力组成， 通过多个独立的注意力头并行处理输入序列， 每个头关注序列中的不同部分， 捕捉运动想象脑电特征信息和复杂的时间序列关系。最后， 采用3个全连接层结构输出分类结果， 并在全连接层之前嵌入一个Dropout层， 减少过拟合风险。这样设计的模型有助于服务器端聚合出高效的全局模型， 提高运动想象脑电解码性能。

1.3 客户端模型更新策略

由于各客户端被试脑电存在异构性， 本地模型训练会各自趋向其局部最优解， 导致出现客户端漂移现象， 为此， 对客户端更新策略进行改进， 在每个客户端引入由Server1选出的最佳特征{\mathit{T}}^g。将{\mathit{T}}^g作为全局共享资源， 并基于最小化最大均值差异（Maximum Meandiscrepancy， MMD） ， 通过最小化最佳特征和本地特征的MMD距离， 减小两域之间的分布差异， 引导多个客户端的训练方向共同趋向于全局最佳特征， 有效解决由于脑电数据异构引起的客户端漂移问题。最佳特征和第k个客户端的本地特征表示为： {\mathit{T}}^g=\{t_{\mathrm{1}}^g,t_{\mathrm{2}}^g,\cdots ,t_m^g\}， {\mathit{T}}_k^l=\{t_{k_{\mathrm{1}}}^l,t_{k_{\mathrm{2}}}^l,\cdots ,t_{k_n}^l\}， {\mathit{T}}_k^l是在本地模型全连接层之前提取出的特征。在本地训练时， 计算最佳特征与本地特征的MMD值， 其损失函数为

{\mathrm{ℒ}}_{\mathrm{m}\mathrm{m}\mathrm{d}}=MMD({\mathit{T}}^g,{\mathit{T}}_k^l)={‖\frac{\mathrm{1}}{m}{\displaystyle \sum _{i=\mathrm{1}}^m}\Phi (t_i^g)-\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}\Phi (t_{k_i}^l)‖}^{\mathrm{2}},（1）

式中： \Phi (·)为将原数据映射到再生希尔伯特空间的函数； t_i^g为Server1共享的最佳特征； t_{k_i}^l为第k个客户端的本地特征； MMD大小表征了最佳特征和本地特征的分布差异情况， 差异越小， MMD值越小。至此， 本地训练的目标函数可表示为

{\mathrm{ℒ}}_{\mathrm{s}}={\mathrm{ℒ}}_{\mathrm{c}\mathrm{e}}+{\lambda }_{\mathrm{m}\mathrm{m}\mathrm{d}}\cdot {\mathrm{ℒ}}_{\mathrm{m}\mathrm{m}\mathrm{d}},（2）

式中： {\mathrm{ℒ}}_{\mathrm{c}\mathrm{e}}为交叉熵损失； {\lambda }_{\mathrm{m}\mathrm{m}\mathrm{d}}为平衡MMD损失的加权系数。

1.4 双服务器端处理方法

经典联邦学习框架采用单服务器模式， 难以充分挖掘不同客户端之间潜在的共享信息， 对提升异构数据处理能力有限。本文设计双服务器模式， 增加一个特征处理服务器， 形成双服务器架构解决这一问题。两个服务器执行不同的任务， Server1负责接收各个客户端上传的本地特征， 并以最高分类准确率为标准挑选最优特征， 将其作为共享资源分发各个客户端， 如式（3）所示

{\mathit{T}}^{g(r+\mathrm{1})}=best({\mathit{T}}_{\mathrm{1}}^{g(r)},{\mathit{T}}_{\mathrm{2}}^{g(r)},\cdots ,{\mathit{T}}_K^{g(r)})\mathrm{。}（3）

Server2负责聚合客户端上传的本地模型参数， 并采用联邦平均聚合算法对参数进行加权平均， 构建全局模型。其表达式为

{\theta }_g^{r+\mathrm{1}}={\displaystyle \sum _{i=\mathrm{1}}^K}\frac{n_i}{n}{\theta }_i^r，（4）

式中： K为参与联邦聚合的客户端数量； n为参与聚合客户端的数据总量； n_i为第i个客户端的数据量。当每个客户端的数据量相等时， 各客户端即等比例聚合。

由于各客户端的被试脑电数据存在差异， 导致各个本地模型训练后的参数差异较大， 仅通过参数聚合方法得到的全局模型难以适配所有客户端。为了获得更通用的全局模型， 提高泛化能力， 本文在各个客户端抽取10%的数据对全局模型进行微调， 优化模型参数， 形成最终全局模型。最后， Server2将最终模型的参数下发给各客户端， 用于客户端本地模型下一轮的训练更新。通过双服务器的协同作用， 最大限度地解决脑电数据异构， 提高模型的泛化性。

2 实现与评价

2.1 数据集

本文采用了两个运动想象脑电数据集， 第一个数据集是2008年BCI竞赛Ⅳ的数据集Ⅱa^［20］， 由奥地利格拉茨工业大学提供， 包含9名被试按照屏幕箭头所指方向分别执行左手、 右手、 脚和舌头4种大脑运动想象任务， 同时使用22个Ag/AgCl 电极采集EEG信号， 以250 Hz频率采样。每名被试在不同日期记录了两组运动想象脑电数据。每组试验中每名被试进行6轮运动想象， 每轮包括4种运动想象任务各12次， 得到288次试验样本。不同日期记录的两组脑电数据合并得到576个样本数据。运动想象实验范式如图 3 所示， 其中， 3~6 s是大脑运动想象时间段。

第二个数据集为2005年BCI竞赛Ⅲ的运动想象任务四分类数据集Ⅲa， 包含3名被试进行左手、 右手、 双脚和舌头4种不同运动想象任务的 EEG 信号。实验使用Neuroscan的 64通道EEG放大器采集脑电信号， 采样频率250 Hz， 试验记录60个电极EEG数据。其中， K3b被试共360次试验样本， K6b和L1b被试各有240次试验样本。运动想象实验范式如图 4 所示， 其中， 3~7 s是大脑运动想象时间段。

2.2 数据预处理

由于数据集的脑电信号已去除了工频干扰和眼电伪迹， 因此， 脑电数据预处理包含： 数字带通滤波获取脑电节律， 脑电数据EA对齐消除边缘分布差异， 时间窗口滑动进行脑电数据样本扩增， 以及CSP空间滤波提取大脑运动想象脑电数据中潜在的判别特征。

首先， 对采集的EEG信号进行8~30 Hz带通滤波， 获得与运动想象相关的脑电节律（µ节律和β节律）。然后， 提取数据集中被试运动想象阶段的脑电信号， 数据集BCI IV 2a提取3~6 s的脑电数据， 数据集BCI Ⅲ Ⅲa提取4~7 s的脑电数据， 并与运动想象任务标签相对应， 获得每个被试脑电数据和任务标签的数据样本。本文对BCI IV 2a和BCI III IIIa数据集预处理方法相同， 以下仅以BCI IV 2a数据集为例说明。

由于每个被试脑电数据存在边缘分布差异， 需进行EA对齐。假设每个被试有{\left\{{\mathit{x}}_i\right\}}_{i=\mathrm{1}}^N个样本， 首先计算协方差矩阵均值

\overline{\mathit{A}}=\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}{\mathit{x}}_i{\mathit{x}}_i^{\mathrm{T}}\mathrm{。}（5）

EA方法采用式（5）协方差均值的 1/2次方对齐数据样本，

{\mathit{x}}_i^{\mathrm{a}\mathrm{l}\mathrm{i}\mathrm{g}\mathrm{n}\mathrm{e}\mathrm{d}}={\overline{\mathit{A}}}^{-\mathrm{1}/\mathrm{2}}{\mathit{x}}_i\mathrm{。}（6）

针对9名被试EEG数据样本， 采用式（5）进行数据对齐， 使得脑电数据的协方差矩阵均为单位矩阵。经过EA对齐后， 可保证不同脑电数据有相同的协方差矩阵， 减小不同被试的数据分布差异。

由于运动想象脑电信号采集成本较高， 通常数据集中的样本数量较少， 本文通过时间窗滑动方法对样本进行扩增， 以2 s为时间窗长度（500个采样点）， 按照0.2 s的时间间隔进行滑动。经过滑动处理， BCI IV 2a数据集中每名被试的脑电数据样本扩增至2 880个。

接着， 将EEG信号进行CSP^［21］空间滤波。对每个运动想象任务类别分别计算EEG信号的协方差矩阵。然后， 对两类信号的协方差矩阵进行广义特征值分解， 得到投影矩阵。对每个类别的投影矩阵中选取前4个特征向量， 4个类别共有16个特征向量， 构建空间滤波器。利用空间滤波器对EEG信号进行空间滤波， 得到一组经过空间滤波的EEG信号。CSP预处理后， 来自不同数据集、 不同采集设备的脑电数据统一到了相同大小的数据矩阵， 即16×500， 其中16为脑电特征维度， 500为采样点个数。

经过预处理后， 将每名被试的2 880个样本按照8∶2的比例划分为训练集和测试集， 其中， 2 304个样本用于本地模型训练， 并随机抽取10%（即230个样本）用于全局模型参数的微调。最终， 使用576个测试样本计算测试准确率。

2.3 模型训练

DST-FL算法的整体训练流程如下：

整体训练流程中， 本地模型更新以式（2）为目标函数， 并选择最小验证损失的模型作为最终上传的本地模型。Server 2按照式（4）进行本地模型参数聚合， 构建全局模型。Server1按照最高分类准确率挑选最佳特征。

实验软件环境为pycharm2022.3.3版本， 采用pytorch框架搭建模型， 硬件环境为NVIDIA GeForce GTX 1650Ti GPU， 模型超参数设置如表 1 所示。其中， 本地模型训练与全局参数训练使用相同的学习率和batchsize。

DST-FL模型训练的准确率、 损失函数如图 5 所示。

根据图 5 的模型训练曲线， 可以发现前15个通信轮次模型快速收敛， 表明在双服务器架构、 全局模型参数优化及多头注意力机制的协同作用下， DST-FL算法能够有效获取不同客户端的异构脑电数据信息， 迅速聚合出一个通用的联邦学习模型。

2.4 评价指标

本文采用分类准确率和Kappa系数作为模型分类性能评价指标。运动想象任务分类准确率是指通过训练集训练得到的模型在测试集上进行分类时， 能够被正确分类的样本数与总样本数的比值， 计算公式如式（7）所示。

ACC=\frac{TP+TN}{TP+TN+FP+FN},（7）

其中： TP为将正类预测为正类； TN为负类预测为负类； FP为将负类预测为正类； FN为将正类预测为负类。在多分类问题中， 考虑某个类别时， 该类别作为正类， 其余类别均被视为负类。

Kappa统计量是一个介于-1~1之间的值， 其值反映了分类器预测结果与真实结果之间的一致性程度。Kappa值越接近1， 表示一致性越高。Kappa系数可基于混淆矩阵计算。

\left\{\begin{array}{l}\mathrm{K}\mathrm{a}\mathrm{p}\mathrm{p}\mathrm{a}=\frac{p_{\mathrm{o}}-p_{\mathrm{e}}}{\mathrm{1}-p_{\mathrm{e}}},\\ p_e=\frac{\mathrm{实际}\mathrm{数量}\times \mathrm{预测}\mathrm{数量}}{{(\mathrm{样本}\mathrm{总数})}^{\mathrm{2}}},\end{array}\right.（8）

式中： p_{\mathrm{o}}为准确率； p_{\mathrm{e}}为偶然一致性； 实际数量指某一类别真实样本的个数； 预测数量指模型预测为某一类别的样本个数； 样本总数指所有类别的实际样本数量之和。以BCI IV 2a数据集中被试A01为例， 其混淆矩阵如图 6 所示。

3 结果与分析

3.1 消融实验

为探究加入不同模块对模型性能的影响， 本实验在基准模型实验基础上， 添加全局模型优化、 注意力机制以及双服务器结构等模块， 验证它们各自的作用以及如何共同提升系统的整体表现。具体实验设置如下：

实验一为基准实验， 即无全局参数优化、 无注意力机制、 无双服务器模块， 提供一个联邦学习的基准模型， 用于实验对比。

实验二在实验一的基础上增加全局模型参数优化模块。利用来自不同客户端的数据样本进行模型参数微调训练， 旨在提升全局模型适应不同客户端脑电数据异构的能力， 增强全局模型的通用性。通过对比实验一与实验二的结果， 可以评估全局模型优化对系统性能的贡献。

实验三在实验一和实验二的基础上， 引入Transformer多头注意力机制。注意力机制能够增强模型对输入数据中重要特征信息的关注， 提高运动想象任务脑电的特征表示能力， 从而提升脑电解码精确度。通过对比实验二与实验三的结果， 可以分析Transformer多头自注意力在提升模型性能方面的作用。

实验四在上述基础上增加双服务器结构， 即本文提出的DST-FL模型。通过对比实验一与实验四的结果， 可以评估联邦学习双服务器结构在改善异构数据的表现， 并观察全局参数优化、 注意力机制、 双服务器结构的融合带来联邦学习系统整体性能的综合提升。图 7 展示了各消融实验的运动想象任务分类准确率对比结果。

由图 7 可知， 实验二全局模型优化对于提升模型分类准确率具有显著效果， 说明了本地参数直接聚合构成全局模型参数的方法难以适应客户端的多样性， 而微调训练优化后的全局模型则能大幅度提高准确率。实验三注意力机制模块由于特征表征能力更强， 可进一步提升解码准确率， 特别是被试A02和被试A09运动想象解码准确率提升较大。基准实验9个被试的平均分类准确率和Kappa值分别为52.74%和0.367。实验四相比基准实验， 运动想象脑电解码平均准确率提升了21.05百分点， Kappa值提升了0.283。这是因为双服务器架构选择本地模型的最佳特征以及全局模型的最优参数， 使得改进的联邦学习模型通用性更强， 能有效解决脑电数据异构导致解码精度差的问题， 再次为模型带来性能的提升。

3.2 不同方法对比

为了全面评估本文DST-FL模型性能， 将本文改进方法与4种先进FL学习方法进行了对比， 包括FedEEG^［17］、 Fedavg^［10］、 Fedprox^［14］和Scaffold^［15］。除Fedavg外， 其余3种方法均是为了解决联邦学习中存在的数据异构问题而设计的。表 2 给出各方法对于不同被试运动想象任务分类的准确率， 以及所有被试的平均分类准确率和平均Kappa值。

从实验结果可以看出， 本文DST-FL方法在众多FL方法中具有最高的平均分类准确率和Kappa值。表明DST-FL算法在解决联邦学习中不同被试脑电数据异构方面的有效性， 从而可获得更好的解码性能。本文方法相比于FedEEG方法， 平均分类准确率提高了12.45百分点。特别是对A02、 A04、 A05和A06 4个被试提升明显。FedEEG方法未考虑全局模型优化对提升联邦学习性能的作用， 导致个别被试解码准确率较低。而Fedavg、 Fedprox和Scaffold算法未能对全局资源有效共享， 导致本地模型训练时易陷入本地数据最优解， 进而引发客户端漂移。

本文方法在众多FL方法中获得最好的效果， 主要归功于数据预处理和联邦学习算法的改进。数据对齐减小了不同被试间脑电数据的差异； 在本地训练过程引入与最佳特征相关的正则项损失， 修正了本地模型的更新方向， 确保客户端训练能朝着共同的最优解方向迈进， 从根本上解决客户端漂移问题； 考虑到参数聚合的全局模型无法适用于不同客户端， 对全局模型微调训练进行参数优化， 增强了其鲁棒性和泛化能力； 最后， 在本地模型的卷积块中加入Transformer多头注意力模块， 使模型能更好地融合局部特征与全局特征的优势， 更好地表征不同运动想象任务的脑电特征， 从而提高分类准确率。

3.3 数据对齐分析

为了评估数据对齐对于改善数据异构性的效果， 分别采用未对齐的数据和对齐后的数据对模型进行测试。实验结果如图 8 所示， 其中柱状图为分类准确率， 点线图为Kappa系数。可以明显看到数据对齐对于解决数据异构性， 提升模型识别准确性的影响。

为了更清晰地展示不同被试脑电数据的异构性， 以及联邦学习中EA数据对齐在缓解数据异构问题上的效果， 利用每个导联的脑电数据， 通过Python中的MNE库绘制每个被试的脑电地形图。图 9 为4类运动想象任务所有样本的平均脑电地形图， 其中第一行为未进行对齐的原始脑电地形图， 第二行为对齐后的脑电图， 可以清晰地看出在未经对齐的情况下， 9名被试的原始脑电图之间存在显著差异， 这种异构性大大降低了联邦学习模型的性能。相反， 经过EA对齐后的脑电在形态上趋于一致， 显著改善了数据异构性。为了更精细地观察EA对齐对不同被试个体的具体影响， 图 10 和图 11 展示了左手和右手运动想象任务的脑电地形图。

从图 10 和图 11 未对齐的原始脑电地形图中可以观察到特定被试（如图10中的A04和图 11 中的A03）表现出了典型运动相关脑区的对侧激活与同侧抑制现象（ERD/ERS）， 但整体上9名被试间的脑电分布差异显著。然而， 在EA对齐后的脑电地形图中， 尽管直接的ERD/ERS现象变得不那么明显， 但所有被试的脑电分布却实现了高度的一致性， 表明了数据对齐方法的有效性。

3.4 跨数据集数据异构性分析

为探究DST-FL方法对于来自不同被试、 不同设备、 不同时间和环境采集的异构EEG数据的有效性， 将BCI IV 2a数据集的9名被试（命名为A01~A09）与BCI Ⅲ Ⅲa数据集的3个被试（命名为A10~A12）进行跨数据集异构脑电数据的联邦学习模型测试。实验分为单数据集测试与多数据集测试。在多数据集测试中， 随着参与训练的客户端数量增加， 不同客户端之间的脑电数据异构性也进一步增强， 从而验证了DST-FL方法处理异构数据的能力。

单数据集测试是使用BCI IV 2a数据集A01~A09的9个客户端数据或BCI Ⅲ Ⅲa数据集A10~A12的3个客户端数据进行测试评估， 以考察DST-FL方法在单一数据集上不同被试间脑电异构数据的性能表现。

多数据集测试旨在增加数据的异构性， 将由不同机构、 不同设备、 不同时间采集的两个数据集所有被试脑电数据合并， 共计12个客户端的数据。

采用本文训练的DST-FL模型进行脑电解码测试， 单数据集、 多数据集运动想象脑电平均分类准确率和Kappa系数如图 12 和图 13 所示， 其中柱状图为分类准确率， 点线图为Kappa系数。

由图 12 和图 13 可以看出， 除A02和A04客户端外， 其余所有客户端的分类准确率和Kappa系数均有所降低， A10客户端的准确率和Kappa没有明显变化。这是由于随着多数据集的数据异构性的增强， 导致全局模型在聚合过程中更倾向于向表现最优的客户端靠拢， 尽管整体性能有所下降， 但下降幅度相对较小。实验证明DST-FL模型在面对数据异构性进一步加剧的多数据集场景下， 依然能够维持较稳定的分类性能。验证了DST-FL在处理复杂、 异构EEG数据方面的鲁棒性， 为模型的推广应用提供了有力支持。

3.5 集中式与分布式对比分析

通过实验对比分析集中式训练和联邦学习分布式训练的性能表现。在集中式训练中， 将所有被试的脑电训练数据混合起来形成大的训练数据集样本， 模型训练完成后， 分别利用每个被试的测试集进行模型测试， 得到每个被试在集中式学习下的测试准确率。分布式联邦学习训练即采用本文DST-FL模型进行测试， 结果如图 14 和图 15 所示。

由图 14 和图 15 各个被试脑电解码的准确率和Kappa值可知， 尽管集中式训练通过合并数据扩大了训练集的规模， 但由于未能处理训练数据样本存在的异构性问题， 导致模型性能显著下降。DST-FL联邦学习分布式模型通过将被试分散为多个客户端， 在本地训练过程引入与最佳特征相关的正则项损失， 修正了本地模型的更新方向， 确保各客户端训练能朝着共同的最优解方向迈进， 可更有效地解决数据异构， 从而获得更优的模型性能。

4 结束语

本文提出了一种脑机接口运动想象脑电数据异构的解决方案， 包括数据预处理以及基于联邦学习框架的DST-FL方法。经过预处理的数据集在联邦学框架下实现了跨数据集融合的可行性。双服务器架构、 客户端更新策略的改进以及全局模型参数优化， 最大限度地缓解了脑电数据异构性。此外， 模型融合了卷积块和Transformer多头注意力机制， 使模型特征表示能力增强， 从而可提高任务分类的准确率。通过不同的对比试验证明， 本文方法在面向不同被试、 不同采集设备和环境的脑电数据异构时， 依然具有较好的运动想象脑电解码性能。该模型为脑机接口技术在处理复杂、 异构EEG数据方面提供了有力的支持。

参考文献

[1] KAWALA-STERNIUK A， BROWARSKA N， AL-BAKRI A， et al. Summary of over fifty years with brain-computer interfaces-a review［J］. Brain Sciences， 2021， 11（1）： 43.

[2] 杨帮华. 运动想象脑机接口在神经系统疾病康复中的应用［J］. 康复学报， 2023， 33（6）： 477-485.

[3] YANG Banghua. Application of motor imagery brain-computer interface in rehabilitation of neurological diseases［J］. Rehabilitation Medicine， 2023， 33（6）： 477-485. （in Chinese）

[4] NATASHA P， JAIME Z， HUIMIN Z， et al. EEG-Based brain-computer interfaces using motor-imagery： techniques and challenges［J］. Sensors， 2019， 19（6）： 1423.

[5] 陈茂洲， 刘化东. 基于深度学习的运动想象脑机接口研究综述［J］. 通信技术， 2023， 56（6）： 673-681.

[6] CHEN Maozhou， LIU Huadong. A review of brain-computer interface for motor imagery based on deep learning［J］. Communications Technology， 2023， 56（6）： 673-681. （in Chinese）

[7] 徐慧， 何宏， 张慧敏， 等. 黎曼流形切平面空间中运动想象脑电信号的迁移学习［J］. 中国生物医学工程学报， 2023， 42（6）： 659-667.

[8] XU Hui， HE Hong， ZHANG Huimin， et al. Transfer learning for motor imagery EEG signals in Riemannian manifold tangent space［J］. Chinese Journal of Biomedical Engineering， 2023， 42（6）： 659-667. （in Chinese）

[9] 王耀杰. 基于时域注意力模型的多主体运动想象脑机接口算法研究［D］. 西安： 西安理工大学， 2023.

[10] WEI X， FAISAL A A. Federated deep transfer learning for EEG decoding using multiple BCI tasks［C］//2023 11th International IEEE/EMBS Conference on Neural Engineering （NER）， 2023： 1-4.

[11] 代峥. 基于域适应的小样本MI-EEG信号处理算法研究［D］. 哈尔滨： 哈尔滨工业大学， 2021.

[12] WANG T， SUN J， LI Z， et al. EEG data enhancement and emotion recognition based on generative adversarial networks［C］//2023 IEEE 6th International Conference on Electronic Information and Communication Technology （ICEICT）， 2023： 1051-1054.

[13] McMAHAN B， MOORE E， RAMAGE D， et al. Communication-efficient learning of deep networks from decentralized data［C］//Artificial Intelligence and Statistics， PMLR， 2017： 1273-1282.

[14] J A J， LEELIPUSHPAM PAULRAJ G J， M G R， et al. Edge-based heart disease prediction using federated learning［C］//2024 International Conference on Cognitive Robotics and Intelligent Systems （ICC- ROBINS）， 2024： 294-299.

[15] CHEN S S， ZHOU W D， GENG S J， et al. Approach for epileptic EEG detection based on gradient boosting［J］. Journal of Measurement Science and Instrumentation， 2015， 6（1）： 96-102.

[16] LI M， TANG X. FLEER： a federated learning framework for EEG emotion recognition［C］//2024 5th International Seminar on Artificial Intelligence， Networking and Information Technology （AINIT）， 2024： 285-288.

[17] LI T， SAHU A K， ZAHEER M， et al. Federated optimization in heterogeneous networks［J］. Proceedings of Machine Learning and Systems， 2020， 2： 429-450.

[18] KARIMIREDDY S P， KALE S， MOHRI M， et al. SCAFFOLD： stochastic controlled averaging for federated learning［EB/OL］. ［2024-10-30］.

[19] JU C， GAO D， MANE R， et al. Federated transfer learning for EEG signal classification［C］//2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society （EMBC）， 2020： 3040-3045.

[20] HANG W， LI J， LIANG S， et al. FedEEG： Federated EEG decoding via inter-subject structure matching［C］//IEEE International Conference on Acoustics， Speech and Signal Processing， IEEE， 2023： 1-5.

[21] SCHIRRMEISTER R T， SPRINGENBERG J T， FIEDERER L D J， et al. Deep learning with convolutional neural networks for EEG decoding and visualization［J］. Human Brain Mapping， 2017， 38（11）： 5391-5420.

[22] PENG Z， HUANG W， GU S， et al. Conformer： local features coupling global representations for visual recognition［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）， 2021： 357-366.

[23] TANGERMANN M， MÜLLER K R， AERTSEN A， et al. Review of the BCI competition IV［J］. Frontiers in Neuroscience， 2012， 6： 55.

[24] BLANKERTZ B， TOMIOKA R， LEMM S， et al. Optimizing spatial filters for robust EEG single-trial analysis［J］. IEEE Signal Processing Magazine， 2007， 25（1）： 41-56.

基金资助

山西省研究生教育创新计划项目(2024SJ021)