FLShadow：基于影子模型的拜占庭鲁棒联邦聚合方法

FLShadow：Byzantine-robust federated aggregation based on a trusted shadow model

摘要

在联邦学习中，拜占庭节点可能精心操纵客户端模型更新，导致聚合后中心模型准确率下降、无法收敛或通信轮数增加。由于中心模型无法仅根据客户端更新进行鲁棒性聚合，因此需要可信任的参考梯度。为此，提出基于影子模型拜占庭鲁棒的联邦聚合方法。首先，中心服务器预先收集小规模可信影子数据集并训练得到影子模型，对比客户端模型与可信影子模型更新方向，累计恶意得分，从而标记恶意客户端；然后，中心服务器剔除恶意客户端更新并修剪得到可信梯度；最后，进行聚合，保证模型性能和效率。在多种模型架构和真实数据集中进行测试。结果表明，本方法在3个数据集中能够有效防御6种拜占庭节点攻击。

Abstract

In federated learning， Byzantine nodes can carefully manipulate the model updates of clients. As a result， the central model accuracy decreases or fails to converge after aggregation. The number of communication rounds also increases. Without trusted reference gradients， the central model can not be properly aggregated solely from updates provided by untrustworthy clients. In this paper， we introduce a trusted reference and we regard it as a shadow model. To overcome this challenge， we propose a novel Byzantine robust federated aggregation method. The central server collects the shadow dataset in advance and trains a model called the shadow model. The central server compares the update direction between the client model and the trusted shadow model. Accordingly， the central server computes malicious score and marks the malicious clients. Then， the central model deletes or prunes the updates from the malicious clients. Finally， the central model aggregates the corrected gradients to ensure good convergence and maintain accuracy. The proposed method has been evaluated on a variety of model architectures and real datasets. The results show that the proposed method can effectively defend against six different Byzantine node attacks on three datasets.

Graphical abstract

随着人工智能和大数据在自然语言处理^［1］、计算机视觉^［2］等领域广泛应用，如文本关系抽取^［3］、图像处理^［4］、目标识别^［5-6］等，医疗、交通、金融等传统产业正在发生巨大变革。但该技术仍存在数据隐私安全和数据“孤岛”等诸多问题^［7］，例如：2023年全球10亿Facebook用户信息泄露、2022年学习通1.7亿条学生信息泄露。为解决数据共享与隐私安全之间的矛盾，缓解产业变革中的数据孤岛问题，联邦学习将模型训练与直接访问原始训练数据二者解耦，保持原始训练数据的隐私性和分散性。联邦学习系统通常由多个参与方（如边缘设备、物联网设备）组成，各参与方在不共享本地数据的前提下，与中心服务器之间协同训练全局模型（客户端-服务端架构^［8］、委员会架构^［9］），或相互之间交换本地更新（对等网络架构^［10］）。

如图1所示，中心化的联邦学习迭代过程可以简单分为以下步骤：1）模型初始化，中心服务器将当前全局模型发送到所有客户端或部分选中客户端；2）数据本地训练，客户端使用本地训练数据微调全局模型来训练本地模型，并通过参数传递将本地模型更新发送回中心服务器；3）联邦安全聚合，服务器根据聚合规则将本地模型更新聚合为全局模型更新，并使用它更新全局模型；4）本地模型更新，本地模型收到中心服务器最新模型后，对本地模型进行更新。以上步骤反复迭代直至模型收敛。

与其他人工智能的安全威胁问题类似，联邦学习同样面临隐私安全问题^［11-12］和对抗攻击威胁^［13-14］。由于其分布式特性，联邦学习模型更容易遭到对抗攻击中的拜占庭节点攻击。拜占庭攻击在数据层、模型层、主机层的不同表现方式有数据投毒^［15］、模型投毒^［16］、合谋攻击^［17］等，可能会造成中心模型准确率下降、无法收敛、达到收敛所需要的轮数增加等问题。

防御者通过设计聚合规则，实现防御拜占庭攻击的鲁棒性聚合算法，在训练阶段中心服务器统计分析各方客户端梯度后，删除或缩放异常值，减少拜占庭节点对中心模型的影响。现有研究主要关注基于统计学的防御方法，但仍存在问题：由于每一个客户端都有可能是恶意的，因此无法识别出可信的客户端，即无法得到可信梯度，此时防御者无法剔除拜占庭节点或无法减少拜占庭节点对中心模型的扰动。

为解决上述没有可信依据的问题，本文提出基于影子模型拜占庭鲁棒的联邦聚合方法。该方案收集干净的初始影子数据集，利用该数据集训练影子模型。影子模型在人工智能安全领域并非首次提出，文献［18］中攻击者使用影子模型来执行成员推理攻击，文献［19］将正负影子模型技术用于黑盒神经网络水印算法。本文将隐私推断或模型提取等攻击思路，转化为防御手段，用于防御联邦学习中的拜占庭攻击。

具体来说，首先引入信誉标识分（reputation score， RS），RS反映客户端的恶意程度，其次引入可信梯度（trust gradient， TG），TG经过大小和方向2个维度上的修剪，最后将RS中恶意程度大的客户端剔除后，利用TG进行模型聚合，此时得到的中心模型准确率损失较小且保持鲁棒性。

本文主要以客户端-服务端架构下的横向联邦学习鲁棒安全聚合作为实验设置。拜占庭攻击产生的原因可归结于联邦学习的分布式特性，无论是在对等网络架构下还是委员会架构下，都无法规避恶意本地模型更新问题。在对等网络架构下，攻击者完全可以在全局模型聚合前修改梯度，因此面临拜占庭攻击问题。在委员会架构下，各客户端对中心服务器不信任，但未考虑恶意的梯度提供者。该架构下，由委员会选择客户端梯度作为全局聚合参数，但当攻击者完全控制节点时，仍会出现拜占庭攻击。本文研究防御拜占庭攻击的鲁棒性安全聚合规则，在中心化或去中心化联邦架构下，这都是重要的共性问题。

本文的主要贡献有：

1）设计了一个基于影子模型的防御拜占庭攻击的鲁棒性安全聚合算法，引入RS和TG。中心服务器事先选择干净的可信影子数据集，并维护一个影子模型，其更新方式与客户端本地模型一致。在每次迭代中，服务器比较影子模型更新和客户端本地模型更新来计算RS和TG，并更新全局模型。

2）实现了FLShadow鲁棒性聚合方法，在真实的MNIST、Fashion-MNIST、CIFAR-10数据集下，与FedAvg算法^［8］、Krum算法^［20］、Trim算法^［21］、Median算法^［21］ 、FLTrust算法^［22］等聚合方法进行对比。

3）实验结果表明，本文方法能够防御数据投毒和模型投毒2类6种拜占庭攻击，并且与无攻击时FedAvg相比，模型准确率损失较小，具有良好的鲁棒性和收敛性。

1 背景和相关工作

相较于分布式机器学习，本文主要关注联邦学习以下特点：1）客户端对本地数据有完全控制权，在训练阶段若客户端提供经过修改的拜占庭梯度，则会导致模型准确率下降或分类错误，因此本文关注拜占庭攻击；2）客户端训练数据呈现非独立同分布（non-identically independent distribution，Non-IID），客户端可以由手机、物联网设备和边缘设备构成，用户习惯不同导致训练数据无法满足独立同分布。

1.1 拜占庭攻击

拜占庭攻击中，攻击者试图破坏训练可用性和模型可用性^［23］，使中心模型无法收敛或无法在主要训练任务中达到最优性能。与后门攻击^［24-25］不同，拜占庭攻击不针对任何特定的用户或数据样本。本文主要研究拜占庭攻击中的数据投毒攻击^{［15，26-27］}和模型投毒攻击^{［13，16，25］}2类，前者破坏数据集的完整性，后者破坏模型训练过程的完整性。

对于拜占庭攻击中的模型投毒攻击形式，攻击者可以直接操纵恶意设备上的梯度，然后在每轮向服务器共享恶意梯度。但是，对于数据投毒攻击形式，攻击者只能通过投毒设备上的训练数据集来间接操纵恶意设备上的梯度。拜占庭攻击通过修改梯度向量（如反转方向或缩放幅度）来破坏联邦学习。例如，为取得最佳攻击效果，文献［13，16］中攻击者将攻击描述为优化问题，并针对相应的聚合规则编写优化方程，旨在求解一个“临界”的恶意梯度值。该值能在最大程度上影响模型性能，同时恰好不被鲁棒性聚合算法修正或剔除。

拜占庭攻击中模型投毒与数据投毒，都是由攻击者控制恶意客户端发起的。而对于恶意客户端之间合作发起攻击，文献［17］提出基于女巫节点的合谋攻击，恶意参与者利用标签翻转攻击进行投毒并通过虚拟化多个女巫节点，恶意节点之间相互配合，使得局部中毒模型能够参与中心模型聚合过程的可能性更高。文献［27］中攻击者向联邦学习系统注入虚假客户端，并在训练期间向云服务器发送精心制作的虚假本地模型更新。

本文实验部分中，数据投毒攻击有标签翻转攻击（label flipping attack），模型投毒攻击有高斯攻击（Gaussian attack^［20］）、均值攻击（mean attack）、缩放攻击（scaling attack^［26］）、krum攻击（krum attack^［15］）和trim攻击（trim attack^［15］）（其中krum attack和trim attack针对特定聚合规则Krum算法^［20］和Trim算法^［21］），共2类6种攻击作为聚合方法防御效果的评测。拜占庭客户端的恶意更新可以是模型梯度或者模型参数，本文所讨论的恶意更新为模型梯度。与之前工作中对攻击者能力的设定相同^［28-30］，本文假设攻击者可以任意控制客户端训练数据或模型更新，而无法控制中心服务器。

1.2 拜占庭攻击防御

中心服务器的聚合方案是联邦学习架构的核心部分，在经典的联邦学习聚合规则FedAvg中，服务器选中客户端更新进行平均，作为中心模型更新，并未考虑拜占庭攻击、后门攻击的存在，不具备鲁棒性。后续聚合规则通常以此为基础进行改进，从而实现鲁棒性聚合。鲁棒性聚合通常将模型视为向量并利用其统计特征提取信息。例如，Krum方法选择一个基于平方差分数最优的客户端更新作为全局模型更新；Median方法将客户端更新的中位数作为全局模型更新时的参数值；Trim方法对于每个客户端模型更新去掉k个最大值和k个最小值，剩下的求均值，作为新的全局模型更新。文献［31］则提出几何中位数聚合方法。

上述基于统计特征和相似性的鲁棒性聚合，计算简单，适用于检测对模型更新影响较大的攻击。但是当攻击产生的梯度变化幅度过小时，使用相似性无法区分恶意梯度，当恶意客户端占比较高或者不同客户端之间梯度变化相互抵消时，将使得统计特征失去意义，在这些情况下统计型鲁棒性聚合防御效果较差。基于局部模型性能进行鲁棒性聚合时直接依赖辅助数据集的测试结果，检测效果通常更加可靠。具体方式例如，FLTrust中服务器收集额外辅助训练数据集作为参考依据，对比客户端更新与辅助训练数据集训练的模型更新并进行修剪，最后加权聚合模型。文献［30］提出基于局部客户端模型性能设计的去中心化联邦架构下的鲁棒性聚合方法。

基于统计特征和相似性的鲁棒性聚合和基于局部模型性能的鲁棒性聚合都对梯度进行直接修改，可以防御模型投毒和数据投毒。但是，联邦学习需要保证客户端训练数据呈现Non-IID多样性特点，并且训练数据中本身就可能有较低质量的数据，也就是说没有攻击的情况下，不同客户端梯度之间、客户端梯度与全局模型之间本身有一定的差异，所以使用单一的鲁棒性聚合方法并不能完全匹配联邦学习的特点。

与鲁棒性聚合方法相比较，异常检测从异常客户端或异常数据层面对梯度进行筛选，不考虑聚合。异常检测可以划分为数据异常检测和客户端异常检测。

数据异常检测用于客户端异常训练数据或者数据投毒攻击的数据集的检测。例如，文献［32］提出在不依赖异常标签的情况下从正常数据中分离异常数据的方法。文献［33］采用分层关联传播方法提取类路径从而区分中毒流量数据。但是，联邦学习初衷之一是和训练数据解耦从而保证数据隐私，数据异常检测与其相违背，并且会带来更多的通信开销，数据异常检测不完全适用于联邦学习的特点。

客户端异常检测是一种基于某种数学算法来检测异常客户端的防御方法，客户端由于受内部或外部因素的影响会偏离模型训练的原定流程。例如，文献［28］提出基于测量单个客户端参数更新之间的余弦相似度来验证客户端合法行为和检测恶意行为；文献［29］提出基于客户端分组的联邦学习框架；文献［34］根据客户端之间欧式距离矩阵和余弦距离矩阵，对客户端参数的恶意性进行评估和赋权，根据权重进行鲁棒性聚合；LoMar算法^［35］使用核密度估计方法对客户端模型更新进行评分，并从统计角度估计一个最佳阈值来区分恶意更新和正常更新。

研究适应联邦学习特点的异常检测，并与鲁棒性聚合相融合，是实现隐私保护联邦学习极具前景的研究方向^［23］。因此，本文方法将基于局部模型性能的鲁棒性聚合和客户端异常检测相结合，剔除异常检测出的客户端更新后再进行基于局部模型性能的鲁棒性聚合。具体来说，利用预先收集的干净的影子数据集训练影子模型，确保影子数据集未遭到数据投毒攻击，得到可信任的影子模型参考梯度。再根据影子模型梯度计算RS，实现客户端异常检测，剔除恶意客户端后根据影子模型梯度计算基于相似度的TG，实现鲁棒性聚合。

2 基于影子模型的拜占庭鲁棒联邦聚合方法

本文引入可信任的影子模型更新，当本地模型更新与影子模型更新偏差较大时进行修正和剔除，整体流程图如图2所示。该方法将鲁棒性聚合和异常客户端检测相结合，通过基于\mathrm{R}\mathrm{S}计算标记恶意客户端，再基于\mathrm{T}\mathrm{G}进行鲁棒性聚合。

本文方法手动收集小型干净的影子训练数据集D_{\mathrm{0}}，中心服务器根据影子数据集D_{\mathrm{0}}训练一个影子模型，训练过程与客户端维护本地模型一样。在每次迭代中，服务器以影子模型更新作为参考标准，剔除恶意客户端局部模型更新或消弭对中心模型的影响。在客户端训练数据集中，按照预先设置的Non-IID程度参数抽取一定数量和分布的数据集作为影子数据集。保证初始影子数据集未受到任何类型的数据投毒攻击（例如数据集样本嵌入后门触发器或数据集标签翻转等），目的是防止作为参考基准的影子模型本身有问题，确保后续基于影子模型的计算有正确依据。

每轮迭代中，中心服务器首先根据影子模型当前轮与上一轮梯度走向和客户端模型梯度走向是否一致，得到参考矩阵；中心服务器根据梯度值和参考矩阵计算得到每个客户端的\mathrm{R}\mathrm{S}，根据客户端之间\mathrm{R}{\mathrm{S}}_i数量上的性质如最小值、最大值、中值等计算得到当前轮的信誉基准分\mathrm{R}{\mathrm{S}}_{\mathrm{b}}，其中，每轮都比较\mathrm{R}{\mathrm{S}}_i与当前轮\mathrm{R}{\mathrm{S}}_{\mathrm{b}}之间大小，累计恶意可能分，从而标记恶意客户端；然后计算客户端模型更新与影子模型更新的余弦相似度，剔除方向上偏离较大的客户端，以影子模型梯度为基准缩放客户端梯度大小，得到\mathrm{T}\mathrm{G}，最后去除恶意可能分较大的客户端的TG后进行模型聚合。算法1是客户端模型梯度更新算法，与影子模型的梯度更新算法一致。

2.1 基于RS信誉标识计算

为找到异常客户端，以每轮使用的影子模型更新方向作为参考方向，对某一个客户端i计算参考矩阵\mathit{\alpha }与客户端梯度得\mathrm{R}{\mathrm{S}}_i，再根据每一轮所有客户端的\mathrm{R}{\mathrm{S}}_i计算\mathrm{R}{\mathrm{S}}_{\mathrm{b}}，从而累计恶意可能分F_i，为最终聚合时剔除恶意可能性较大的客户端做准备。

\begin{array}{c}\begin{array}{c}\nabla g_{i,m}\end{array}=g_{i,m}^t-g_{\mathrm{g}\mathrm{l}\mathrm{o}\mathrm{b}\mathrm{a}\mathrm{l},m}^{t-\mathrm{1}},\\ \nabla g_{\mathrm{r}\mathrm{e}\mathrm{f},m}=g_{\mathrm{0},m}^t-g_{\mathrm{g}\mathrm{l}\mathrm{o}\mathrm{b}\mathrm{a}\mathrm{l},m}^{t-\mathrm{1}},\end{array}（1）

{\mathit{\alpha }}_{i,m}=\left\{\begin{array}{c}\mathrm{1},s\left(\nabla g_{i,m}\right)\ne s\left(\nabla g_{\mathrm{r}\mathrm{e}\mathrm{f},m}\right),\\ \mathrm{0},s\left(\nabla g_{i,m}\right)=s\left(\nabla g_{\mathrm{r}\mathrm{e}\mathrm{f},m}\right),\end{array}\right.（2）

\mathrm{R}{\mathrm{S}}_i={\displaystyle \sum _{m=\mathrm{0}}^{\left|M\right|-\mathrm{1}}}{\left|\nabla g_{i,m}\right|}^{\mathrm{2}}\times {\mathit{\alpha }}_{i,m},（3）

\begin{array}{c}\mathrm{R}{\mathrm{S}}_{\mathrm{b}}=M\left\{Md\left(x\right),\sigma \times M\left(x\right)\right\}+\\ \mu \times \left\{M\left\{Md\left(x\right),\sigma \times M\left(x\right)\right\}-M\left(x\right)\right\},\end{array}（4）

在文献［36］中flip-score计算基础上将影子模型梯度加入计算，得到式（1）～式（3）。式（1）与式（2）从梯度向量的单个维度上，关注客户端更新的方向变化程度。式（3）考虑到客户端更新的大小，式（4）使用统计学方法从所有客户端的\mathrm{R}\mathrm{S}值中找到判断客户端是否恶意的阈值\mathrm{R}{\mathrm{S}}_{\mathrm{b}}。鲁棒性聚合可以直接比较客户端梯度与影子模型之间的大小和方向，在后文2.2节中详细讨论。

2.1.1 根据影子模型参考矩阵计算RS

式（1）中，g_{i,m}是当前客户端C_i的第m维模型更新， g_{\mathrm{g}\mathrm{l}\mathrm{o}\mathrm{b}\mathrm{a}\mathrm{l},m}是上一轮全局模型的第m维模型更新，\nabla g_{i,m}表示二者的差，g_{\mathrm{0},m}是影子模型预测的当前轮第m维模型更新大小，\nabla g_{\mathrm{r}\mathrm{e}\mathrm{f},m}表示二者的差，t表示第t轮， {\mathit{g}}_{\mathit{i}}=\left(g_{i,\mathrm{1}},g_{i,\mathrm{2}},g_{i,\mathrm{3}},\dots ,g_{i,m}\right)。

当客户端的模型更新变化方向\nabla g_{i,m}与影子模型变化方向\nabla g_{\mathrm{r}\mathrm{e}\mathrm{f},m}不相同时，参考矩阵{\mathit{\alpha }}_{i,m}值为1，否则为0，见式（2）。其中，s(x)函数定义为：当x小于0时，s(x)等于-\mathrm{1}，否则s(x)等于\mathrm{1}。根据\nabla g_{i,m}和{\mathit{\alpha }}_{i,m}得到\mathrm{R}{\mathrm{S}}_i，见式（3），\mathrm{R}{\mathrm{S}}_i异常大时，认为客户端i可能是恶意的。

具体来说，式（1）将第m维影子模型梯度与上一轮全局模型梯度做减法，得到影子模型梯度相对变化方向，同时计算待检测客户端梯度与上一轮全局模型做减法也得到客户端梯度相对变化方向，由式（2）判断二者变化一致时取0，否则取1，得到参考矩阵{\mathit{\alpha }}_{i,m}。同时与式（3）相结合，式（3）以梯度变化大小的平方作为{\mathit{\alpha }}_{i,m}的放大系数，将梯度变化大小和是否一致标识{\mathit{\alpha }}_{i,m}相乘。如果客户端模型梯度和影子模型梯度的方向不一致且梯度变化很大，并且一个客户端上这样的维度很多，那么\mathrm{R}{\mathrm{S}}_i越大，该客户端恶意可能性更高。

从具体攻击上看，当\mathrm{R}{\mathrm{S}}_i分数较低时表明梯度更新大致与前一次迭代的方向相同，而\mathrm{R}{\mathrm{S}}_i分数较高时表明与前一次更新的偏差较大，此时可能出现的情况有：大量更新翻转了方向，例如遭到mean attack攻击时客户端更新所有维度都向相反方向变化；或者少量更新翻转了方向但幅度较大，例如遭到scaling attack时客户端更新所有维度都放大或者所有维度都缩小；或者两者都有，例如遭到Gaussian attack时客户端更新有的维度放大有的维度缩小，且方向和数量随机。

2.1.2 计算累计恶意可能分

式（4）中，x=\mathrm{R}{\mathrm{S}}_{\mathrm{1}},\mathrm{R}{\mathrm{S}}_{\mathrm{2}},\mathrm{R}{\mathrm{S}}_{\mathrm{3}},\dots ,\mathrm{R}{\mathrm{S}}_{\tau }；M\{x\}函数定义为，输出x中的最小值，其中Md\{x\}函数定义为，将x从小到大排序，输出x中的中位数，如果x有偶数个，取最中间的2个数值的平均数。\sigma \mathrm{、}\mu参数用于调节\mathrm{R}{\mathrm{S}}_{\mathrm{b}}的大小，\sigma \mathrm{、}\mu值越小，算法对恶意客户端越敏感，但是，\sigma \mathrm{、}\mu值过于小时，会筛除更多的客户端，造成中心模型准确率下降。从恶意客户端占比角度来说，恶意客户端数量越小，检测算法需要更加灵敏，\sigma \mathrm{、}\mu取值越小。

从攻击场景角度来说，对于恶意客户端对梯度修改幅度小、但是攻击效果强的场景，使用较小的\sigma \mathrm{、}\mu值；对于攻击场景为恶意客户端大量更新翻转了方向，取较大的\sigma \mathrm{、}\mu值；对于攻击场景为少量更新翻转了方向但幅度较大，取较大的\sigma \mathrm{、}\mu值；对于混合攻击场景，使用网格搜索方法确定参数\sigma \mathrm{、}\mu。

从攻击手段是否已知的角度来说，对于已知攻击，使用上述攻击场景确定参数范围并使用网格搜索方法确定参数\sigma \mathrm{、}\mu的最优值。对于未知攻击，结合联邦学习应用场景需求进行分析，对于恶意客户端敏感场景，例如微众银行使用联邦学习进行信用风险预测场景下，使用较小的\sigma \mathrm{、}\mu值；对于不敏感的场景，例如谷歌公司的使用联邦学习进行输入法中下一个单词预测，则可以选取更大的\sigma \mathrm{、}\mu值。

根据所有客户端信誉标识分计算基准值\mathrm{R}{\mathrm{S}}_{\mathrm{b}}，\mathrm{R}{\mathrm{S}}_{\mathrm{b}}是正常\mathrm{R}\mathrm{S}大小取值范围的上限，当客户端\mathrm{R}{\mathrm{S}}_i大于\mathrm{R}{\mathrm{S}}_{\mathrm{b}}时，认为该客户端恶意可能性越大，上述恶意客户端判定只考虑一次迭代，为了累计恶意客户端行为，使用累计恶意可能分F_i，每轮判定为恶意时，F_i增大，反之则减小。F_i越大，该客户端恶意更新的可能性越大。最终进行全局模型梯度聚合时，剔除F_i较大的客户端更新\mathit{g}。

F_i\left(t\right)=\left\{\begin{array}{c}{F}_i\left(t-\mathrm{1}\right)+\mathrm{1},\mathrm{R}{\mathrm{S}}_i\ge \mathrm{R}{\mathrm{S}}_{\mathrm{b}},\\ F_i\left(t-\mathrm{1}\right)-\mathrm{1},\mathrm{R}{\mathrm{S}}_i\mathrm{R}{\mathrm{S}}_{\mathrm{b}}.\end{array}\right.（5）

式（1）～式（4）与聚合规则Median、Krum、Trim、LoMar类似，都使用了模型更新的统计特性来评估客户端更新的恶意性，并计算客户端恶意程度临界值。为了将客户端更新向量转化为数值并计算恶意程度临界值，本文将客户端更新变化的大小和方向通过式（1）～式（3）转换成\mathrm{R}{\mathrm{S}}_i。Median算法中利用客户端更新每一个维度的中位数，Trim算法中去掉每个维度最大值和最小值后再对每一个维度平均。与上述两种算法相比，式（4）通过不同客户端之间的\mathrm{R}\mathrm{S}统计特性计算临界值，在\sigma倍最小值和中值之间选择较小的值，加上\mu倍该值与最小值的差，得到\mathrm{R}\mathrm{S}正常取值的最大范围，恶意值的最小范围。根据攻击场景和需求场景不同，选取不同\sigma \mathrm{、}\mu值。

式（5）客户端恶意程度累积效应，将数值结果转化为布尔状态，F_i大于0则不参与后续梯度聚合。

2.2 基于相似度的TG计算

\mathrm{T}{\mathrm{G}}_i=\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\left(\frac{〈{\mathit{g}}_i,{\mathit{g}}_{\mathrm{0}}〉}{‖{\mathit{g}}_i‖\cdot ‖{\mathit{g}}_{\mathrm{0}}‖}\right),（6）

{\overline{\mathit{g}}}_i=\frac{‖{\mathit{g}}_{\mathrm{0}}‖}{‖{\mathit{g}}_i‖}\cdot {\mathit{g}}_i.（7）

其中，{\mathit{g}}_{\mathrm{0}}是根据全局模型和影子数据集D_{\mathrm{0}}计算得到预测的模型更新向量，\mathrm{T}{\mathrm{G}}_i为客户端C_i的模型更新{\mathit{g}}_i与影子模型更新{\mathit{g}}_{\mathrm{0}}经过ReLU激活函数筛选的余弦相似度，{\overline{\mathit{g}}}_i是中心模型对客户端C_i的{\mathit{g}}_{\mathrm{0}}大小上进行归一化后得到的模型更新向量。

基于相似度的TG沿用FLTrust中的计算方式，但是由于FLShadow在聚合前进行了恶意客户端剔除，所以具有更好的表现。式（6）在方向上去掉客户端更新向量与影子模型更新向量偏差较大的梯度，如果客户端模型更新和影子模型更新方向相反，即余弦相似度为负，会对聚合的全局模型更新产生负面影响，因此使用ReLU激活函数进行筛除。式（7）在大小上缩放每个客户端更新，使其具有与服务器模型更新相同的量级，从而单个客户端模型更新不会对聚合的全局模型更新产生太大的影响。但是，同时还扩大了一个小幅度的客户端模型更新，使其与服务器模型更新具有相同的幅度。FLTrust方法中认为，直觉上，数值上较小的局部模型更新更有可能来自良性客户端，因此扩大它们的数值有助于减少来自恶意客户端的有毒局部模型更新的影响，从而产生更好的全局模型。但实际上，从攻击角度上看，当客户端遭到mean attack攻击时，会使部分梯度缩小，数值上较小的局部模型更新反而来自恶意客户端。

与FLTrust相比，FLShadow增加了异常客户端检测，因此更加严格。在进行可信梯度计算之前进行了客户端恶意程度评分，恶意可能性累计评分较高时直接剔除客户端更新。对于总是提供过大或者过小梯度的客户端进行剔除，这种优势在复杂数据集中更加明显。CIFAR-10数据集上scaling attack和mean attack中FLShadow表现最佳，原因是scaling attack对更新的每个维度放大，mean attack对更新的维度部分放大部分缩小，FLTrust通过缩放每个客户端更新使其具有与服务器模型更新相同的量级，这些做法都没有完全消除恶意梯度的影响，但是FLShadow通过计算RS标记恶意客户端，提前剔除异常值。

2.3 模型更新聚合

根据2.1节得到的F_i，该值为负的客户端标记为正常客户端，聚合时需去掉恶意客户端模型更新，根据2.2节得到的\mathrm{T}{\mathrm{G}}_i， 每个客户端\mathrm{T}\mathrm{G}占比对所有模型更新进行模型更新聚合，得到最终t+\mathrm{1}轮模型更新向量\mathit{g}。

\begin{array}{c}\mathit{g}=\frac{\mathrm{1}}{{\sum }_{i\in n:F_i\mathrm{0}}^n\mathrm{T}{\mathrm{G}}_i }{\displaystyle \sum _{i\in n:F_i\mathrm{0}}^n}\mathrm{T}{\mathrm{G}}_i\cdot {\overline{\mathit{g}}}_i \end{array}.（8）

最后更新全局模型

\mathit{w}-{\eta }_{\mathrm{1}}\bullet \mathit{g}\to \mathit{w}.（9）

3 实验与结果分析

为验证FLShadow拜占庭鲁棒性防御算法的准确率、收敛性和性能等情况，本文将其与FedAvg、FLTrust、Trim、Median、Krum等聚合算法进行对比。选取MNIST、Fashion-MNIST、CIFAR-10等不同场景下的数据集，并采用CNN、ResNet20这2种模型进行评估。

MNIST是10分类数据集，由6万个训练集和1万个测试集组成，图片内容为0～9数字手写体。Fashion-MNIST是10分类灰度衣物图像数据集，由6万张图像的训练集和1万张图像的测试集组成。CIFAR-10是10分类彩色图像数据集，由5万张训练集和1万张测试集组成。

基本实验参数如表1所示，损失函数为Softmax交叉熵损失函数，每轮选取的客户端数量为100。本文不考虑客户端随机掉线，所以每轮选取的客户端数量\tau设置为100，与总客户端数量一致，其他可变参数在后续具体实验设置中指明。客户端数量、每轮选取的客户端数量、本地客户端迭代次数、全局模型迭代次数、批大小、联合学习率等遵循参考文献［22］中的设置。

本文方法实现了label flipping attack、trim attack、krum attack、Gaussian attack、mean attack、scaling attack等攻击方式。label flipping attack是一种与训练数据分布无关的数据中毒攻击，在拜占庭客户端上，这种攻击会将训练数据的正常类别标签翻转到其他类别标签，造成中心模型误分类。文献［16］提出了局部模型中毒的一般框架攻击，可以针对任意给定的聚合规则进行攻击优化，通过优化恶意客户端发送给服务器的有毒本地模型更新，使全局模型更新沿正常更新的相反方向变化，针对Krum、Trim聚合规则设计krum attack、trim attack。Gaussian attack将模型中的每个参数替换为从整个模型的高斯分布中随机抽样的数字。在mean attack中当恶意客户端数量与总客户端数量相同时，恶意梯度为当前梯度的等值反方向，当恶意数量小于总客户端数量时，将拜占庭节点梯度替换为当前梯度与所有正常梯度求和的相反方向除以恶意客户端数量。scaling attack将恶意客户端的有毒本地模型更新按一个远大于1的因子进行缩放，然后将缩放后的中毒本地模型更新发送到服务器。

3.1 实验设置

在联邦学习范式下，Non-IID是联邦学习区别于典型分布式机器学习的关键属性，给定客户端上的训练数据通常基于特定用户对本地设备的使用情况，因此任何特定客户端的本地数据集都不能代表总体分布。本文方法中，中心服务器端影子数据集的Non-IID程度和客户端训练数据集的Non-IID程度不同，现实中收集的影子数据集分布很难与任意客户端保持完全一致，因此实验中令二者之间分布不相同。

为了模拟数据集Non-IID属性，对于有M种不同标签的数据集，以某个概率p将一个样本分配给某组客户端，客户端也随机分成M组。为满足数据集Non-IID特性，设置p\mathrm{1}/M。假设一个数据集中有M个类，那么客户端也随机分成M组。将标签为l的训练样例以概率p分配到组L，分到其他组的概率是(\mathrm{1}-p)/(M-\mathrm{1})。p控制客户端本地训练数据的分布差异，p越大，说明某一类样本数量越多，而其他类别样本偏少，数据集的Non-IID程度越高，样本总数与客户端之间保持一致。

3.2 实验结果及分析

为测试本文方法性能，3.2.1节分别在无攻击设置和有攻击设置下测试了不同数据集上的测试准确率；3.2.2节对方法的一些关键参数进行测试，优化影子数据集的Non-IID设置，以及\sigma ,\mu等参数选取；3.2.3节进行开销测试，在无攻击场景和有攻击场景下进行收敛轮数测试。

3.2.1 功能测试

拜占庭鲁棒性安全聚合规则不应牺牲全局模型的分类精度，在无攻击的情况下，本方法能与FedAvg聚合规则下的全局模型一样准确，并能够抵御6种不同拜占庭攻击。FedAvg是经典的联邦学习聚合规则，并未考虑拜占庭攻击的存在，不具备鲁棒性，通常作为基线用于方法对比。

表2~表4中结果按行比较，最后一行为平均准确率。客户端数据集Non-IID参数p为0.1，影子数据集Non-IID参数p为0.5。影子数据集规模为100条，其中拜占庭恶意占比20%。

无攻击的情况下，本方法测试错误率与非对抗环境下聚合规则FedAvg相似。表2~表3中，无攻击no attack下，FedAvg在MNIST、Fashion-MNIST数据集中模型准确率最高，FLShadow测试准确率与FedAvg相似，在表4的CIFAR-10数据集中，无攻击下，Trim准确率最高，FLShadow其次。由于与前2种数据集相比，CIFAR-10复杂程度更高且数据集中本身可能存在低质量数据，所以在Trim聚合规则下，因其更新中去掉k个最大值和k个最小值，使得准确率更高。

在数据投毒攻击下，由于模型投毒攻击可以直接操纵梯度，因此可以达到更好的攻击效果，同时由于数据投毒攻击不能计算任意梯度，因此通过数据投毒来模拟模型投毒攻击的恶意梯度并非易事。所以实验中，与后续5种模型投毒攻击相比，label flipping attack对模型准确率的攻击能力较弱，由表2~表4可以看出，对此类攻击，FedAvg、Trim效果最好。

在5种投毒攻击模型下进行对比。1）trim attack是文献［21］专门针对Trim聚合规则设计的攻击方法，由表2～表4可以看到，在3个数据集中，Trim聚合规则所在列，trim attack所在行，模型准确率非常差，表现最优的分别是FLShadow与FLTrust。2）krum attack是文献［20］专门针对Krum聚合规则设计的攻击方法。由表2～表4可以看到，在3个数据集中，Krum聚合规则所在列，krum attack所在行，模型准确率非常差，表现最优的分别是FLTrust与Trim。3）Gaussian attack将真实梯度替换为随机数，对比FedAvg所在列，可以看出此类攻击能力较弱，攻击在3个数据集中表现最优的分别是FLTrust与Trim。4）mean attack中，对比FedAvg所在列，可以看出此类攻击能力较强，在3个数据集中表现最优的分别是FLShadow与Trim。5）scaling attack中，在3个数据集中表现最优的分别是Trim、FLTrust、FLShadow。

如表2～表4最后一行所示，从所有攻击的模型准确率均值上看，在3个数据集中，FLShadow在6种聚合规则中处于较高水平。数据集复杂度较大且攻击强度较大时，FLShadow表现最优。

3.2.2 不同参数对实验结果的影响

如图3所示，在MNIST数据集下，客户端训练数据集的Non-IID程度从0.1变化至1.0时，FLShadow聚合规则下，中心模型的测试错误率逐渐上升；影子数据集规模从50变化至500时，中心模型错误率逐渐下降，影子数据集Non-IID程度升高时，中心模型错误率逐渐上升，当p为0.5时准确率处于临界位置。在Fashion-MNIST数据集下，FLShadow中参数\sigma和参数\mu分别是10和0.72时本文方法的聚合规则下测试准确率最高，如图4所示。具体实际应用中，参数\sigma和参数\mu需结合拜占庭攻击强度、恶意客户端占比、联邦学习应用场景需求进行选取。

3.2.3 开销测试

由于联邦学习的中心模型每次迭代都需要客户端和服务器之间的通信，为了测试FLShadow是否给客户端带来额外的开销，如图5所示，本文测试了无攻击和有攻击下FLShadow与FedAvg训练准确率与全局迭代数的关系，数据集为Fashion-MNIST。结果表明，与FedAvg相比，FLShadow的收敛速度与其相当，不会为客户端产生额外的通信成本。在本实验中，参数设置为表1中Fashion-MNIST数据集对应设置，其中，恶意客户端占比20%，数据集Non-IID参数p为0.1，影子数据集Non-IID参数p为0.5，影子数据集规模100条。

4 讨论

为保护数据隐私安全，联邦学习采用客户端数据本地留存的模式，在去中心化数据分布下完成模型训练得到中心模型，中心模型与客户端之间仅交换模型参数或模型梯度。中心模型对各个客户端更新聚合过程中，系统易遭受拜占庭节点攻击，为解决该问题，本文提出基于影子模型的鲁棒性聚合方法，实验结果表明，与其他聚合方法相比，该方法具有更好的效果。

本工作未来的改进方向：1）将本方法的架构拓展至委员会架构时，进一步提升影子数据集的应用价值；2）研究恶意客户端之间相互串通，对真实梯度进行微小篡改场景下的防御方法；3）研究更复杂攻击策略下的防御方案，如部分拜占庭节点执行相反方向攻击，或者并非每一轮迭代都进行攻击。

参考文献

[1] Qasim R， Bangyal W H， Alqarni M A， et al. A fine-tuned BERT-based transfer learning approach for text classification［J］. Journal of Healthcare Engineering， 2022， 2022：3498123. DOI：10.1155/2022/3498123 .

[2] Li Y L. Research and application of deep learning in image recognition［C］//2022 IEEE 2nd International Conference on Power，Electronics and Computer Applications （ICPECA）. January 21-23， 2022， Shenyang， China. IEEE， 2022：994-999. DOI：10.1109/ICPECA53709.2022.9718847 .

[3] 赵敏钧，赵亚伟，赵雅捷，等.一种新的基于深度学习的重叠关系联合抽取模型［J］.中国科学院大学学报，2022，39（2）：240-251.DOI：10.7523/j.ucas.2020.0026 .

[4] 张萌，潘志刚.基于分层模糊聚类和小波卷积神经网络的SAR图像变化检测算法［J］. 中国科学院大学学报，2023，40（5）：637-646.DOI：10.7523/j.ucas.2022.013 .

[5] 霍鑫怡，李焱磊，陈龙永，等.基于卷积注意力和胶囊网络的SAR少样本目标识别方法［J］.中国科学院大学学报，2022，39（6）：783-792.DOI：10.7523/j.ucas.2021.0022 .

[6] 朱嘉桐，卿来云，黄庆明.基于双流LSTM与自监督学习的在线动作检测算法［J］. 中国科学院大学学报， 2022，39（6）：827-835.DOI：10.7523/j.ucas.2021.0049 .

[7] 顾育豪，白跃彬.联邦学习模型安全与隐私研究进展［J］.软件学报，2023，34（6）：2833-2864.DOI：10.13328/j.cnki.jos.006658 .

[8] McMahan H B， Moore E， Ramage D， et al. Communication-efficient learning of deep networks from decentralized data［EB/OL］. arXiv 2023：1602.05629. （2023-01-26） ［2023-12-10］.

[9] Che C J， Li X L， Chen C， et al. A decentralized federated learning framework via committee mechanism with convergence guarantee［J］. IEEE Transactions on Parallel and Distributed Systems， 2022， 33（12）： 4783-4800. DOI： 10.1109/TPDS.2022.3202887 .

[10] Karras A， Karras C， Giotopoulos K C， et al. Peer to peer federated learning： towards decentralized machine learning on edge devices ［C］//2022 7th South-East Europe Design Automation，Computer Engineering， Computer Networks and Social Media Conference （SEEDA-CECNSM）. September 23-25， 2022， Ioannina， Greece. IEEE， 2022： 1-9.DOI： 10.1109/SEEDA-CECNSM57760.2022.9932980 .

[11] Nasr M， Shokri R， Houmansadr A. Comprehensive privacy analysis of deep learning： passive and active white-box inference attacks against centralized and federated learning［C］//2019 IEEE Symposium on Security and Privacy （SP）. May 19-23， 2019， San Francisco， CA， USA. IEEE， 2019：739-753. DOI：10.1109/SP.2019.00065 .

[12] Garov K， Dimitrov D I， Jovanović N， et al. Hiding in plain sight： disguising data stealing attacks in federated learning［EB/OL］. arXiv 2023：2306.03013.（2023-06-25）［2023-08-25］.

[13] Bhagoji A N， Chakraborty S， Mittal P， et al. Analyzing federated learning through an adversarial lens［EB/OL］. arXiv 2019： 1811.12470. （2019-11-25）［2023-12-10］.

[14] Chen J Y， Huang G H， Zheng H B， et al. Graph-fraudster： Adversarial attacks on graph neural network-based vertical federated learning［J］. IEEE Transactions on Computational Social Systems， 2023， 10（2）： 492-506. DOI： 10.1109/TCSS.2022.3161016 .

[15] Tolpegin V， Truex S， Gursoy M E， et al. Data poisoning attacks against federated learning systems［C］//25th European Symposium on Research in Computer Security （ESORICS）. September 14-18， 2020， Guildford， UK. Springer， 2020： 480-501. DOI： 10.1007/978-3-030-58951-6_24 .

[16] Fang M H， Cao X Y， Jia J Y， et al. Local model poisoning attacks to byzantine-robust federated learning. ［EB/OL］. arXiv 2021：1911.11815. （2021-11-21）［2023-12-10］.

[17] Xiao X， Tang Z， Li C Y， et al. SCA：Sybil-based collusion attacks of IIoT data poisoning in federated learning［J］. IEEE Transactions on Industrial Informatics， 2023， 19（3）： 2608-2618. DOI：10.1109/TII.2022.3172310 .

[18] Hidano S， Murakami T， Kawamoto Y. TransMIA： membership inference attacks using transfer shadow training［C］//2021 International Joint Conference on Neural Networks （IJCNN）. July 18-22， 2021， Shenzhen， China. IEEE， 2021：1-10. DOI：10.1109/IJCNN52387.2021.9534207 .

[19] Tan J X， Zhong N， Qian Z X， et al. Deep neural network watermarking against model extraction attack［C］//Proceedings of the 31st ACM International Conference on Multimedia （ACM MM）. October 29， 2023， Ottawa， Canada. ACM， 2023： 1588-1597. DOI： 10.1145/3581783.3612515 .

[20] Blanchard P， Mhamdi E M E， Guerraoui R， et al. Machine learning with adversaries： Byzantine tolerant gradient descent［C］// Advances in Neural Information Processing Systems （NeurIPS）. December 4-9， 2017， Long Beach， USA. MIT Press， 2017：118–128. DOI：10.5555/3294771.3294783 .

[21] Yin D， Chen Y D， Ramchandran K， et al. Byzantine-robust distributed learning： towards optimal statistical rates［EB/OL］. arXiv 2021： 1803.01498. （2021-2-25） ［2023-12-10］.

[22] Cao X Y， Fang M H， Liu J， et al. FLTrust： Byzantine-robust federated learning via trust bootstrapping［C］//28th Annual Network and Distributed System Security Symposium （NDSS）. February 21-25， 2021， virtually. ISOC， 2021.DOI：10.14722/ndss.2021.24434 .

[23] 高莹，陈晓峰，张一余，等.联邦学习系统攻击与防御技术研究综述［J］.计算机学报，2023，46（9）：1781-1805. DOI：10.11897/SP.J.1016.2023.01781 .

[24] Li Y Z， Li Y M， Wu B Y， et al. Invisible backdoor attack with sample-specific triggers［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）. October 10-17， 2021， Montreal， QC， Canada. IEEE， 2021： 16443-16452. DOI：10.1109/ICCV48922.2021.01615 .

[25] Zhou X C， Xu M， Wu Y M， et al. Deep model poisoning attack on federated learning［J］. Future Internet， 2021， 13（3）： 73. DOI： 10.3390/fi13030073 .

[26] Bagdasaryan E， Veit A， Hua Y Q， et al. How to backdoor federated learning［EB/OL］. arXiv 2019：1807.00459.（2019-08-06） ［2023-12-10］.

[27] Cao X Y， Gong N Z. MPAF： model poisoning attacks to federated learning based on fake clients［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. June 19-20， 2022， New Orleans， LA， USA. IEEE， 2022： 3395-3403. DOI： 10.1109/CVPRW56347.2022.00383 .

[28] Qayyum A， Janjua M U， Qadir J. Making federated learning robust to adversarial attacks by learning data and model association［J］. Computers Security， 2022， 121： 102827. DOI： 10.1016/j.cose.2022.102827 .

[29] Cao X Y， Zhang Z X， Jia J Y， et al. FLCert： provably secure federated learning against poisoning attacks［J］. IEEE Transactions on Information Forensics and Security， 2022， 17： 3691-3705. DOI： 10.1109/TIFS.2022.3212174 .

[30] Guo S W， Zhang T W， Yu H， et al. Byzantine-resilient decentralized stochastic gradient descent［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（6）： 4096-4106. DOI： 10.1109/TCSVT.2021.3116976 .

[31] Pillutla K， Kakade S M， Harchaoui Z. Robust aggregation for federated learning［J］. IEEE Transactions on Signal Processing， 2022， 70： 1142-1154. DOI： 10.1109/TSP.2022.3153135 .

[32] Kieu T， Yang B， Guo C J， et al. Anomaly detection in time series with robust variational quasi-recurrent autoencoders［C］//2022 IEEE 38th International Conference on Data Engineering （ICDE）. May 9-12， 2022， Kuala Lumpur， Malaysia. IEEE， 2022： 1342-1354. DOI： 10.1109/ICDE53745.2022.00105 .

[33] Zhang Z， Zhang Y， Guo D， et al. SecFedNIDS： robust defense for poisoning attack against federated learning-based network intrusion detection system［J］. Future Generation Computer Systems， 2022， 134： 154-169. DOI： 10.1016/j.future.2022.04.010 .

[34] Wang X X， Zhang H Q， Bilal A， et al. WGM-dSAGA： federated learning strategies with Byzantine robustness based on weighted geometric Median［J］. Electronics， 2023， 12（5）： 1190. DOI： 10.3390/electronics12051190 .

[35] Li X Y， Qu Z， Zhao S Q， et al. LoMar： a local defense against poisoning attack on federated learning［J］. IEEE Transactions on Dependable and Secure Computing， 2023， 20（1）： 437–450. DOI： 10.1109/TDSC.2021.3135422 .

[36] Sharma A， Chen W， Zhao J， et al. TESSERACT： gradient flip score to secure federated learning against model poisoning attacks［EB/OL］. arXiv 2021：2110.10108. （2021-10-19） ［2023-12-10］.