车辆边缘计算下的联邦学习设备选择及聚合优化方法

A federated learning device selection and aggregation optimization method for vehicular edge computing

摘要

由于车辆高速移动性及其计算资源的有限性，在车辆边缘计算场景下，很难对所有车辆并行执行联邦学习模型的更新和聚合，这直接影响了联邦学习的收敛性和训练速度.为提升车辆边缘计算下联邦学习的收敛性和训练速度，本文提出了一种能够动态适应车辆高速移动变化的多目标分布式联邦学习设备选择及聚合优化方法.首先，通过评估车辆通信链路稳定性和在覆盖区域的逗留时间，设计了移动性覆盖感知预筛选算法，筛选出合格的车辆候选集，确保参与联邦学习设备的稳定性；之后，结合深度强化学习双深度Q网络设计了设备选择算法，从候选集中筛选出最优客户端参与联邦学习；同时提出了一种基于三层联邦学习架构的动量聚合优化算法，解决由数据异构性导致的模型训练不稳定和收敛缓慢的问题.实验结果表明，本文提出的算法在模型精度、处理时间和通信开销方面均优于传统的联邦学习方法，可以充分利用车辆边缘设备的计算资源提升联邦学习的训练速度和训练精度.

Abstract

Due to the high mobility of vehicles and their limited computational resources， it is challenging to parallelize the updating and aggregation of federated learning models across all vehicles in vehicle edge computing scenarios， which directly impacts the convergence and training speed of federated learning. To improve the convergence rate and training efficiency of federated learning in vehicle edge computing， a multi-objective distributed federated learning device selection and aggregation optimization method is proposed that dynamically adapts to high-speed vehicle mobility. Firstly， by evaluating vehicle communication link stability and the residence time in the coverage areas， a mobility-aware prescreening algorithm is designed to select qualified vehicle candidates， ensuring the stability of participating devices. Subsequently， a device selection algorithm is designed by combining deep reinforcement learning dual-deep Q-network to identify and select optimal clients from the pool of candidates to participate in federated learning. In addition， a momentum clustering optimization algorithm based on a three-tier federated learning architecture is proposed to address model instability and slow convergence caused by data heterogeneity. Experimental results show that the proposed algorithm outperforms traditional federated learning methods in terms of model accuracy， processing time， and communication overhead. It effectively leverages the computational resources of vehicle edge devices to enhance both the training speed and accuracy of federated learning.

Graphical abstract

关键词

联邦学习 / 车辆边缘计算 / 深度强化学习 / 设备选择 / 聚合优化

Key words

federated learning / vehicular edge computing / deep reinforcement learning / device selection / aggregation optimization

随着超5G（B5G）、6G和车联网技术的发展，以智能交通、自动驾驶为典型代表的智慧交通相关应用得到了快速的发展^［1］.智慧交通相关应用通常包含大量不同类型的智能终端和传感器设备，这些终端设备在运行过程中会实时生成大量的文本、图像、视频、传感器数据等异构数据，其中许多数据可能涉及个人隐私、位置信息和生物识别等敏感信息^［2］.如何对以上海量、异构、具有潜在隐私风险的数据进行实时的分析处理，对实现精准决策、提升系统的响应速度和效率、保证车辆应用的安全至关重要^［3-4］.

为了应对以上挑战，将联邦学习和车联网边缘计算相结合，利用车联网边缘计算分布式架构和灵活的资源调度为车辆应用提供高效的计算服务^［5］.同时借助联邦学习，通过在分布式设备上训练本地模型，并将数据保留在各个客户端，充分利用分布在不同客户端的海量数据资源，在提升模型训练性能的同时极大地增强数据隐私性，有效减少数据泄露的风险^［6］.尽管联邦学习在隐私保护方面展现出巨大的潜力，但在车联网移动边缘计算场景中，由于参与联邦学习的分布式设备计算资源的有限性、数据的异构性会显著影响模型的学习性能，所以设备选择（即从候选设备中选择合适的移动设备参与联邦学习）成为影响实现高质量联邦学习的关键.文献［7］提出了一种适用于异构客户端的联邦学习设备选择算法FedCS，该算法动态管理参与训练的客户端，通过选择具有更强计算能力的客户端参与训练，以提升模型训练性能.然而在高动态车联网环境中，客户端的资源状况可能快速变化，这对FedCS的实时性和鲁棒性提出了更高要求.文献［8］将通信设备中继选择和传输功率分配问题建模为Stackelberg博弈，解决了传统联邦学习中模型更新直接传输带来的能耗高和通信效率低的问题.但博弈模型本身较为复杂，在大规模设备参与的动态环境下，计算任务的实时性不能得到较好的满足.文献［9］提出联邦学习框架Overlap-FedAvg，通过并行执行本地训练与通信，最大限度地提高设备利用率.但在车辆边缘计算场景中，车辆的高动态性可能导致并行策略失效，从而难以保证全局模型的稳定收敛.文献［10］提出了一种质量感知的客户端选择框架AUCTION.该框架基于深度强化学习，在有限预算内自动执行客户端选择，同时综合考虑多种影响学习性能的因素.文献［11］提出的自适应客户端选择方法能动态选择参与训练的客户端，从而提高联邦学习的效率和模型性能.但该方法侧重静态资源受限场景的优化，缺乏对车辆移动性与信道波动等动态场景的建模，难以应对车辆边缘计算场景下客户端频繁退出与通信中断问题.文献［12］提出了一种经验驱动的控制框架FAVOR，使用双深度Q网络算法智能地选择客户端设备参与每一轮联邦学习，以加快收敛速度.现有设备选择方案通常以客户端的计算能力、通信条件或数据规模为依据（如FedCS、FAVOR），很少关注车辆边缘计算场景中车辆的高速移动性和设备异构性.然而在车辆高速移动场景中，链路质量与驻留时间的高动态性，直接影响联邦学习的训练性能.

同时由于不同车辆的数据样本可能遵循不同的分布，车辆设备局部训练的模型之间也存在显著差异，将这些分散的不同的模型参数聚集在一起进行全局参数更新会影响整个模型的收敛速度，降低模型的精度.研究表明，在非独立同分布（Non-IID）数据场景下，联邦学习的模型精度会显著下降，最高可下降55%^［13-14］.针对Non-IID数据引发的梯度震荡与收敛缓慢问题，文献［15］提出的聚合优化框架FedProx，通过加入近端正则化项，以缓解模型参数更新偏差并提升训练稳定性.但其正则强度在车辆高速移动性场景下难以统一设置.文献［16］通过FedNova算法对梯度进行归一化来避免因梯度震荡引起的全局模型失衡，以提升模型的训练效率和收敛速度，但对方向性震荡抑制有限.文献［17］提出了动态自适应本地聚合优化方法FedALA，根据客户端计算能力和本地数据特点决定聚合策略，以提升系统的适应性和收敛速度，但由于动态自适应策略涉及的超参数较多，增加了在车联网边缘计算环境中的部署难度.文献［18］提出的去中心化联邦学习聚合框架YOGA能自适应地执行层级模型聚合和训练，但所提方法高度依赖客户端的反馈信息来动态调整聚合策略，当网络状况较差或设备计算能力有限时，客户端可能无法及时返回有效反馈，从而影响计算性能，这使得其难以部署在车联网等高动态场景中.

综上所述，现有的设备选择方法主要关注设备的计算能力、通信条件或本地数据量等因素，没有充分考虑车辆边缘计算环境下车辆的高速移动性和数据非独立同分布的特点，会在联邦学习模型训练过程中导致客户端频繁退出训练过程，增加通信中断的风险，引起计算资源不稳定、资源利用率不高的问题；同时数据的非独立同分布会加剧客户端间模型更新的差异性，在联邦学习训练和聚合过程中引起梯度震荡，从而减缓全局模型的收敛速度，影响模型的训练精度.

为提升车联网边缘场景下联邦学习训练效率和模型性能，本文针对以上问题，提出了一种能够动态适应车辆高速移动变化的多目标分布式的联邦学习设备选择和聚合优化方法.具体工作如下.

1）为解决车联网边缘计算场景中因车辆高速移动性和设备异构性引起的计算资源不稳定和资源利用率不高的问题，提出了一种动态适应车辆移动性的客户端选择策略，以有效降低联邦学习训练中的网络中断风险，提升训练稳定性和资源利用效率.首先通过对车辆移动轨迹、驻留时间和信道稳定性建模，设计了移动性覆盖感知预筛选算法，提前剔除因高速移动性或信道劣化可能断连的车辆节点.之后，通过设计双深度Q网络强化学习算法，综合优化训练时间和通信开销，从候选集中筛选出最优客户端参与联邦学习.

2）为解决由于数据异构性在联邦学习训练与聚合过程中引发的梯度震荡及收敛缓慢问题，提出基于云-边-端三层架构的联邦学习动量聚合优化算法.该算法结合动量优化方法，通过预测模型参数位置并基于预测位置计算本地梯度，优化客户端参数更新方向，有效缓解非独立同分布数据导致的梯度偏差与聚合不稳定性.

1 系统模型及优化目标

1.1 系统架构

图1为本文融合了联邦学习与车辆边缘计算的三层系统架构，包括中央云服务器、路侧单元（RSU）以及车辆节点.中央云服务器作为全局控制与计算中心，负责聚合多个RSU上传的模型参数与信息，以生成统一的全局模型，并将更新后的全局模型下发至各RSU，车辆再根据RSU中最新的全局模型进行本地训练，从而实现高效且安全的分布式学习.

中间层的RSU部署于道路基础设施中，具备缓存与计算能力.负责管理覆盖范围内车辆节点的训练任务，并与覆盖范围内的车辆进行快速数据交互和模型更新.RSU通过分析车辆节点的实时位置、速度、行驶方向和信道传输功率等信息，预测其驻留时间与通信稳定性，剔除可能因移动性或信道劣化而无法参与训练的不合格的车辆节点，从而提升聚合效率与质量.

位于端层的车辆在接收到边缘服务器下发的初始模型后，使用本地数据协同训练模型，然后将训练后的本地模型参数发送到边缘服务器进行聚合，重复多次该步骤，直至达到精度要求.

云-边-端三层车联网联邦学习系统架构，和传统基于云的联邦学习方案相比，能显著减少通信资源消耗与传输延迟；与单纯依赖边缘的联邦学习相比，云服务器通过对大规模、多样化数据的处理，可以确保更优的模型性能.

1.2 通信模型

车辆与基础设施间的通信（vehicle-to-infrastructure，V2I）可以通过蜂窝网络实现，假设V2I通信采用正交频率，根据香农定律，任务车辆i到边缘服务器l的数据传输速率V_i，l 为：

V_{i,l}=\omega \mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}(\mathrm{1}+P_i{g}_{i,l}{d}_{i,l}^{-\prod }/N_{\mathrm{0}})（1）

式中：\omega为分配的传输信道带宽；P_i 为任务车辆i的传输功率；g_i，l 为参考距离处的信道功率增益；\mathrm{\Pi }为路径损耗指数；N₀为高斯白噪声；d_i，l 为任务车辆i与路边单元l之间的距离^［19］.

在每轮训练结束后，被选中的每个客户端需要通过将本地模型上传到边缘服务器进行模型聚合，若客户端i传输的模型大小为Z_i，则客户端上传本地模型的通信时长T_{i,l}^t定义如下：

T_{i,l}^t=\frac{Z_i}{V_{i,l}}（2）

1.3 计算模型

假设每个选定的客户端i需要迭代地训练局部模型K₁次，f_i 为客户端i训练时的CPU周期频率，D_i 为本地计算数据大小，则客户端i局部训练的计算时间T_i^l 可以表示为：

T_i^l=\frac{K_{\mathrm{1}}{D}_i}{f_i}（3）

1.4 能耗模型

若车辆端每个CPU周期的能耗为\tau，则车辆i执行本地训练任务的能耗为：

{E_i}^l=\tau f_i^{\mathrm{3}}{T}_i^l（4）

车辆i将本地模型上传到边缘服务器l的传输能耗表示为：

E_{i,l}^t=T_{i_{,}j}^t{P}_i（5）

因此，车辆i执行本地训练并将模型上传到边缘服务器的总能耗为：

E_i={E_i}^l+{E_i}^t（6）

1.5 优化目标

对于联邦学习任务，要在保证模型训练精度的同时尽量减少训练过程的时间成本和能量消耗.尽管多个客户端同时参与联邦模型训练可以加快模型的训练收敛速度，但同时会显著增加通信开销和系统负载.本文在综合考虑所选车辆数量、能耗、延迟的基础上，将联邦客户端选择问题建模为一个多目标优化问题，具体模型如下：

\mathrm{M}\mathrm{a}\mathrm{x}F\left(M,\frac{\mathrm{1}}{T},\frac{\mathrm{1}}{E}\right)={\psi }_{\mathrm{m}}\mathrm{M}\mathrm{a}\mathrm{x}\left(M\right)+

{\psi }_{\mathrm{t}}\mathrm{M}\mathrm{a}\mathrm{x}\left(\frac{\mathrm{1}}{T}\right)+{\psi }_{\mathrm{e}}\mathrm{M}\mathrm{a}\mathrm{x}\left(\frac{\mathrm{1}}{E}\right)（7）

\mathrm{S}.\mathrm{T}.\mathrm{C}\mathrm{1}:M={\displaystyle \sum _{j=\mathrm{1}}^N}{A}_i,A_i\in \left\{\mathrm{0,1}\right\}（8）

\mathrm{C}\mathrm{2}:T=\mathrm{M}\mathrm{a}\mathrm{x}\left\{A_i{T}_i,i=\mathrm{1,2},\dots ,N\right\}（9）

\mathrm{C}\mathrm{3}:E={\displaystyle \sum _{j=\mathrm{1}}^N}{A}_i{E}_i（10）

式中：M为被选中参与训练的车辆节点数量；T为训练时延；E为总能耗.权重{\psi }_{\mathrm{m}}，{\psi }_{\mathrm{e}}，{\psi }_{\mathrm{t}}\in［0，1］满足{\psi }_{\mathrm{m}}+{\psi }_{\mathrm{e}}+{\psi }_{\mathrm{t}}=\mathrm{1}，用于平衡各优化目标.约束条件（8）中，A_i 表示边缘车辆i是否被选中参与联邦学习训练，其中A_i=0表示被选中，A_i=1表示未被选中.式（9）中，T表示被选中参与训练的车辆中的最大总时延，其中T_i={T_i}^l+{T_{i,l}}^t.式（10）中E_i 为参与模型训练车辆的本地计算能耗与模型上传能耗之和.

2 联邦学习设备选择及聚合优化框架

为提升车辆边缘计算下联邦学习的收敛性和训练速度，本文在云-边-端分层车联网联邦学习系统架构的基础上，提出面向车辆边缘计算的联邦学习设备选择及聚合优化框架，具体框架如图2所示.整个框架分为设备选择阶段、模型训练及聚合阶段.

2.1 设备选择阶段

在设备选择阶段，首先根据车辆在边缘服务器覆盖范围内的停留时间、计算能力和信道传输稳定性等因素设计基于移动性覆盖感知的预筛选算法，筛选出合格车辆，并在合格车辆队列中选择低时延、低能耗的设备参与联邦学习训练.设备选择阶段的具体任务如下.

1）云服务器将全局模型发送到边缘服务器，边缘服务器再将全局模型发送给覆盖范围内的所有车辆；车辆将传输功率、车辆速度、本地数据集大小、计算频率等信息发送给边缘服务器；边缘服务器根据车辆上传的信息，预测车辆连接时间及信道传输稳定性，并根据预筛选算法淘汰不合格车辆，防止联邦学习训练过程中出现设备掉线情况.

2）合格车辆建立自身状态信息模型，并将模型发送到边缘服务器；边缘服务器中的智能体根据车辆端上传的状态信息，在最小化时延能耗、最大化参与设备数量的约束条件下，根据所有客户端的当前状态，选择相应客户端参与联邦学习训练，以最大化系统的长期累积回报.

3）被智能体选中的车辆参与本轮训练.

2.2 模型训练及聚合阶段

在联邦学习模型训练及聚合阶段，构建基于云-边-端三层架构的动量聚合优化算法.通过动量优化算法，平滑联邦学习参数更新过程，缓解梯度震荡对全局模型的影响；通过动态聚合频率调节机制，使系统能够根据任务需求和网络条件自适应调整资源分配.最终实现对本地训练和边缘聚合资源的高效分配，进一步提高联邦学习系统聚合速度.

3 设备选择及聚合优化策略

为解决上文提出的多目标优化问题，本节进一步设计了基于移动性覆盖感知的设备选择算法.该算法结合深度强化学习技术，以最小化训练时延和能耗为目标，动态选择参与训练的车辆节点，在保证模型训练精度的前提下，最大限度地减少时间成本和能量消耗.同时提出三层动量聚合优化算法，以解决由数据异构性导致的模型训练不稳定和收敛缓慢的问题.

3.1 移动性覆盖感知预筛选机制

在车辆边缘计算下的联邦学习训练过程中，车辆的高速移动性及信道传输功率的异构性，可能导致车辆节点因驶离边缘服务器覆盖范围或信道不稳定而发生网络中断.针对上述问题，本文提出移动性覆盖感知预筛选算法，该算法通过对边缘服务器的覆盖范围、车辆的行驶速度、当前位置、行驶角度以及信道传输功率进行建模和预测，提前剔除在训练期间因移动性或信道质量劣化而可能断连的不合格车辆节点，算法主要根据以下两个关键因素来判断车辆是否能够参与联邦学习.

1）车辆驻留时间.通过车辆运动轨迹预测其在边缘服务器覆盖范围内的驻留时间，判断是否满足联邦学习训练的时长需求.

2）信道稳定性.基于信道传输功率与车辆位置及速度，分析车辆信道稳定性，判断能否支持联邦学习模型的参数更新传输.

通过移动性覆盖感知预筛选算法，可以有效降低因车辆动态性或信道波动引发的网络中断风险，从而保证联邦学习训练过程的稳定性与连续性.这不仅可以提升训练效率，还可以优化车联网边缘计算系统中计算与通信资源的利用效率，为高动态环境下的联邦学习提供可靠支持.车辆移动模型由三元组\{(x_i,y_i),v_i,{\theta }_i\}表示，其中(x_i(t),y_i(t))、v_i、{\theta }_i分别表示车辆当前实时位置、车速及行驶角度.

图3给出了移动性覆盖感知预筛选流程.首先车辆节点将车速、位置、传输功率等参数上传至边缘服务器，之后边缘服务器根据覆盖感知预筛选算法筛选并输出满足训练需求的合格车辆集合.

3.1.1 车辆连接持续时间预测

在高动态车联网中，车辆的高速移动性与复杂移动轨迹导致其与边缘服务器的连接呈现高时变性，直接影响联邦学习的设备选择与模型聚合效率.为实现稳定的边缘联邦协同计算，本文通过解析车辆运动特征来预测车辆和边缘服务器的连接持续时间.首先通过欧氏距离量化车辆与服务器的空间关系，之后分析运动方向与通信链路的几何相关性，最终融合覆盖范围与运动参数计算最大可持续连接时长，为后续动态设备选择提供关键时域约束.

1）距离计算.在车辆边缘计算系统中，边缘服务器与车载客户端之间的距离直接关系两者之间的通信质量.本文基于欧几里得距离对边缘服务器和车辆之间的时变距离进行计算.

假设基站覆盖范围内的路边单元的位置信息可由(X_l,Y_l)表示，则车辆i与边缘服务器l之间的时变距离d_{i,l}(t)可表示为：

d_{i,l}(t)=\sqrt[]{{\left[X_l-x_i(t)\right]}^{\mathrm{2}}+{\left[Y_l-y_i(t)\right]}^{\mathrm{2}}}（11）

2）方向测量.为了与边缘服务器保持持续稳定的通信，需考虑车辆客户端的移动方向.车辆运动方向由向量{\mathit{d}}_{\mathit{i}}=(\mathrm{c}\mathrm{o}\mathrm{s}{\theta }_i,\mathrm{s}\mathrm{i}\mathrm{n}{\theta }_i)表示，它决定了车辆在每个时间步的位移方向.通信节点连接方向向量{\mathit{r}}_{\mathit{i}}=(X_l-x_i(t),Y_l-y_i(t))表示车辆当前位置指向通信节点的位置.方向夹角φ_i 是车辆运动方向{\mathit{d}}_{\mathit{i}}与通信节点连接方向{\mathit{r}}_{\mathit{i}}的夹角.使用方向夹角的余弦值表示车辆当前是否接近或远离边缘服务器，如式（12）所示.若\mathrm{c}\mathrm{o}\mathrm{s}{\phi }_i>\mathrm{0}，说明车辆正朝边缘服务器移动；若，说明车辆正远离通信服务器.

\mathrm{c}\mathrm{o}\mathrm{s}{\phi }_i=\frac{{\mathit{d}}_{\mathit{i}}\cdot {\mathit{r}}_{\mathit{i}}}{\left|{\mathit{d}}_{\mathit{i}}\right|\left|{\mathit{r}}_{\mathit{i}}\right|}（12）

3）有效连接时间计算.假设边缘服务器覆盖半径为R，若车辆要保持与边缘服务器的稳定连接，则车辆位置与边缘服务器之间的距离d_i，l(t)应小于或等于R，即

d_{i,l}(t)=\sqrt[]{{\left[X_l-x_i(t)\right]}^{\mathrm{2}}+{\left[Y_l-y_i(t)\right]}^{\mathrm{2}}}\le R（13）

若车辆i以速度v_i朝{\theta }_i方向移动，则处于边缘服务覆盖范围的最大有效连接时间T_i^e为：

T_i^e=\frac{R-\sqrt[]{{\left[X_l-x_i(t)\right]}^{\mathrm{2}}+{\left[Y_l-y_i(t)\right]}^{\mathrm{2}}}}{v_i\cdot \mathrm{c}\mathrm{o}\mathrm{s}{\phi }_i}（14）

通过获取车辆的运动信息和通信设备的覆盖范围，实施预测车辆与通信节点间的有效连接时间，使联邦学习能够动态适应车辆和环境的变化.

3.1.2 车辆信道传输稳定性评估

在联邦学习训练过程中，信道稳定性较差的车辆节点可能因网络中断无法及时上传本地模型参数，从而影响全局模型更新和模型收敛性.本节通过定义和评估车辆的信道传输稳定性，以确保加入联邦学习的车辆能够稳定地参与模型训练，减少由网络中断引起的车辆不确定性，提升全局模型的收敛速度与训练精度.

为量化车辆节点与边缘服务器的连接稳定性，本文结合以下参数构建车辆信道传输稳定性函数.

1）距离d_i，l （t）：车辆节点与边缘服务器的距离.距离增加会导致信号质量下降，降低信道传输稳定性；

2）速度v_i ：车辆节点的行驶速度，速度越高，维持稳定连接的难度越大；

3）传输功率P_i ：车辆节点的信号传输功率，功率越高，信号覆盖范围与质量越优.结合以上关键参数，车辆i稳定函数S_i 定义为：

S_i=\frac{P_i}{\left[\mathrm{1}+{\alpha }_{\mathrm{d}}{d}_{i,l}(t)\right]\left(\mathrm{1}+{\beta }_v{v}_i\right)}（15）

式中：{\alpha }_{\mathrm{d}}为路径损耗加权系数；{\beta }_v为速度影响系数.考虑边缘服务器覆盖半径为400 m，车辆速度范围为0~30 m/s.本文将{\alpha }_{\mathrm{d}}而取值范围设置为［0.000 5，0.001］， {\beta }_v设置为［0.007，0.013］.S_i 综合反映距离和速度对信道稳定性的负面影响，稳定函数值越大，连接越稳定.

为便于比较不同车辆节点的稳定性，将车辆信道稳定函数S_i 归一化至［0，1］区间，归一化公式如下：

S_i^n=\frac{S_i}{S_{\mathrm{m}}}（16）

式中：S_m为边缘服务器连接的所有车辆稳定函数最大值；车辆信道稳定函数S_i 反映了通信链路的稳定性，值越大，表明通信连接越可靠，为筛选合格节点提供了量化依据.

3.1.3 移动性覆盖感知的预筛选算法

为优化联邦学习过程中的设备选择，本文在定义的车辆连接持续时间和信道传输稳定性两个关键指标的基础上，设计了一种移动性覆盖感知的预筛选算法，旨在从车辆节点中筛选出满足联邦学习训练需求的合格候选队列.具体算法设计如下.

1）给定车辆最大数据集D_m和最大传输模型Z_m，根据式（17）和式（18）分别计算出车辆i的最大传输时延T_{i\mathrm{m}}^t和最大计算时间T_{i\mathrm{m}}^l：

T_{i\mathrm{m}}^t=\frac{Z_{\mathrm{m}}}{V_{i,l}}（17）

T_{i\mathrm{m}}^l=\frac{k_{\mathrm{1}}{D}_{\mathrm{m}}}{f_i}（18）

2）若车辆i满足T_i^e\ge T_{i\mathrm{m}}^t+T_{i\mathrm{m}}^l且S_i^n\ge \mathrm{M}\mathrm{a}\mathrm{x}(\delta ,Q_{\mathrm{1}-p}(S^n))，则纳入合格车辆候选集合.

其中，前一项约束确保车辆在完成本地训练与参数上传前不会离开边缘服务器覆盖范围；后一项通过双门槛筛选机制对车辆进行筛选，即车辆需同时满足安全阈值条件S_iⁿ≥δ及分位截断条件Q_1-p （Sⁿ ），以剔除不合格车辆并优先选择稳定性排名靠前的车辆参与训练.

在参数设定方面，安全阈值固定为δ=0.2，分位截断比例设置为p=30%，以保证剔除稳定性处于后30%车辆的同时保留大多数相对稳定的设备参与训练.该取值在兼顾稳定性与参与度之间实现了合理平衡.

3.2 基于覆盖感知的设备选择方法

在以上移动性覆盖感知预筛选算法的基础上，本节针对车辆边缘计算中的多目标优化问题，结合深度强化学习的双重深度Q网络（DDQN）算法，设计基于移动性覆盖感知的设备选择算法PreScr-DDQN，从合格候选集合中进一步选择合适的客户端参与联邦学习训练，以最大化模型训练精度、最小化训练时间和通信开销.首先将多目标优化问题转化为马尔可夫决策过程（Markov decision process， MDP），其次基于DDQN^［20］求解设备选择问题，算法框架如图4所示.

3.2.1 马尔可夫决策过程构建

马尔可夫决策过程由四元组｛S，A，P，R｝组成.S为状态空间，描述系统可能处于的所有状态.A为动作空间，表示在每个状态下可采取的所有可能动作.P为状态转移概率，描述在给定当前状态s取动作a情况下，系统转移到下一个状态s\mathrm{\text{'}}的概率P(s\mathrm{\text{'}}|s,a).R为奖励函数，定义为智能体在不同状态下采取动作所获得的即时奖励R（s，a）.马尔可夫决策过程具体定义如下：

1）状态空间.边缘服务器中的智能体收集的主要观测状态信息包括：CPU周期频率f_i 、传输功率P_i 、车辆能源消耗E_i 、车辆传输速率V_i，l 、本地计算数据大小D_i 、传输的模型大小Z_i .车辆i状态空间{\mathit{S}}_i定义为：

{\mathit{S}}_i=\left\{f_i,P_i,E_i,V_{i,l},D_i,Z_i\right\}（19）

2）动作空间. MEC系统的动作空间是由包含M辆车的边缘服务器的选择策略组合而成，表示为：

A={\prod }_{i=\mathrm{1}}^M{A}_i（20）

其中，A_i =｛0｝∪｛1｝表示车辆i的动作状态；A_i =0表示车辆i不参与此轮全局模型的更新；A_i =1表示车辆i参与此轮局部模型的训练.

3）奖励函数

R\left(s,a\right)=a_{\mathrm{m}}\frac{m}{M}-a_{\mathrm{e}}E-a_{\mathrm{l}}L（21）

式中：a_{\mathrm{m}}、a_{\mathrm{e}}、a_{\mathrm{l}}为权重系数，a_{\mathrm{m}}+a_{\mathrm{e}}+a_{\mathrm{l}}=\mathrm{1}分别调节参与训练车辆数量、能耗和时延的权重；m为选择的车辆节点数量；M为合格车辆节点总数.

L为参与此轮迭代的客户端最大延迟，具体定义如下：

L=\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{Z_i}{V_{i,l}}+\frac{k_{\mathrm{1}}{D}_i}{f_i}\right)（22）

E为MEC系统每次迭代的总能耗，具体定义如下：

E={\displaystyle \sum _{i=\mathrm{1}}^m}{E}_i（23）

3.2.2 设备选择算法

为从合格车辆候选集中进一步选择最优参与者，本文在移动覆盖感知联邦学习设备预选择算法的基础上，结合DDQN优化选择实际参与联邦学习客户端，算法具体实现如算法1所示. DDQN由动作-价值在线神经网络\theta和动作-价值目标神经网络{\theta }^{\text{'}}组成.在线神经网络\theta为边缘服务器选择一个动作，并用目标神经网络{\theta }^{\text{'}}评估该动作，防止过估计问题.其中损失函数L(\theta )和目标-价值函数y定义为：

L\left(\theta \right)=\mathit{𝔼}{\left[y-Q\left(s,a,\theta \right)\right]}^{\mathrm{2}}（24）

y=R\left(s,a\right)+\gamma Q^{\text{'}}\left(s^{\text{'}},\mathrm{a}\mathrm{r}\mathrm{g}\underset{a^{\text{'}}\in A}{\mathrm{M}\mathrm{a}\mathrm{x}}{Q}^{\text{'}}\left(s^{\text{'}},a^{\text{'}},\theta \right),{\theta }^{\text{'}}\right)（25）

式中：s,a,R\left(s,a\right),s\mathrm{\text{'}}分别为状态、动作、奖励和下一状态，\gamma \in [\mathrm{0,1}]为折扣因子.

3.3 云-边-端三层动量聚合优化算法

基于移动性覆盖感知预筛选的设备选择算法，已选择出稳定且低能耗、低时延的车辆节点集合参与联邦学习训练.但在联邦学习训练过程中，模型聚合阶段的效率和稳定性同样对全局模型的收敛速度与精度至关重要.在车联网边缘计算场景中，车辆节点的Non-IID数据会导致梯度震荡和收敛缓慢，显著影响训练性能.传统联邦学习聚合方法FedAvg采用基于客户端本地模型参数的加权平均策略，不能有效缓解因数据异构性引发的梯度震荡.为此，本文提出基于云-边-端三层架构的动量聚合优化算法FedNAG，利用历史梯度信息对当前梯度方向进行预测式修正，以提升收敛速度与训练稳定性.

3.3.1 算法框架

已有的研究^［21-22］中通过引入动量机制，累积历史梯度信息以平滑参数更新方向，从而加速收敛并缓解梯度震荡.

相比传统动量优化方法，基于Nesterov加速梯度下降法（NAG）^［23］的动量优化能通过预测梯度方向优化参数更新过程，可有效减少梯度偏差.本文在云-边-端分层联邦学习架构的基础上，结合NAG加速梯度下降法，提出联邦学习动量聚合优化算法FedNAG，旨在缓解Non-IID数据在车联网边缘计算场景中引发的梯度震荡与收敛缓慢问题.算法框架如图5所示，客户端层采用FedNAG优化本地训练.首先结合上一轮动量，预测参数位置，以平滑更新方向；随后在预测位置处计算本地梯度并更新动量项；最终完成本地参数更新.边缘层执行局部加权聚合，云端层整合全局模型.

3.3.2 算法设计与实现

本文联邦学习三层动量聚合优化算法FedNAG，基于云-边-端三层架构，通过迭代客户端本地更新、边缘层加权聚合及云端全局聚合实现联邦学习训练过程的聚合优化，提升了聚合效率与模型稳定性.算法具体设计如下.

1）客户端层.客户端车辆节点根据历史动量预测下一次模型参数位置，并基于该位置计算本地梯度，从而更精确地调整更新方向，减轻Non-IID数据引起的梯度震荡，加速模型收敛.首先边缘服务器l初始化全局模型w^l\left(k-\mathrm{1}\right)，随后车辆i更新本地模型w_i^l\left(k-\mathrm{1}\right)\leftarrow w^l\left(k-\mathrm{1}\right)并初始化动量M_i^l(k-\mathrm{1}).

2）边缘服务器层.边缘服务器接收被选定I辆车上传的模型后，使用加权平均进行聚合，得到聚合后的模型w^l(k)：

w^l(k)=\frac{{\displaystyle \sum _{i=\mathrm{1}}^I}\left|D_i\right|w_i^l(k)}{{\displaystyle \sum _{i=\mathrm{1}}^I}\left|D_i\right|}（26）

式中：\left|D_i\right|为客户端i的本地数据量，边缘服务器在每K_{\mathrm{2}}次更新后将聚合的边缘模型上传至云服务器.

3）云服务器层.云服务器对来自边缘服务器的局部更新进行全局聚合：

w(k)=\frac{\mathrm{1}}{L}{\displaystyle \sum _{l=\mathrm{1}}^L}{w}^l(k)（27）

算法具体实现如算法2所示.

4 实验仿真及结果分析

4.1 实验环境及参数设置

本文三层MEC系统由一个中央云服务器、三个边缘服务器组成，每个边缘服务器通信范围为 400 m，每个边缘服务器均包含40辆车辆客户端，本地聚合频率K₁=3，边缘聚合频率K₂=2.具体实验参数如表1所示.

整个实验使用由两个卷积层、两个池化层、两个全连接层和一个输出层组成的卷积神经网络（CNN）架构作为评估模型，数据采用基准数据集FashionMNIST^［24］和CIFAR-10^［25］.

4.2 实验对比方法

为了验证本文方法的有效性，将本文方法和以下基线算法在相同实验环境下从不同数据分布下的训练精度、时延、能耗、不同车速下车辆上传模型成功率四个方面进行对比分析.

1）随机选择及平均算法（Random-FedAvg）：每轮训练中随机选择60%车辆参与联邦学习训练，之后使用FedAvg算法进行模型聚合.

2）基于DQN的设备选择及平均聚合算法（DQN-FedAvg）：未对车辆进行移动性覆盖感知预筛选，直接使用DQN算法进行设备选择，之后使用FedAvg算法进行模型聚合.

3）基于DDQN的设备选择及平均聚合算法（DDQN-FedAvg）：未对车辆进行移动性覆盖感知预筛选，直接使用DDQN算法进行设备选择，之后使用FedAvg算法进行模型聚合.

4.3 实验结果分析

4.3.1 参数敏感性分析

1）本地训练迭代次数敏感性分析

为分析本地训练迭代次数K₁对模型性能的敏感性，本文在不同数据集上进行实验，其中数据分布为α=0.5.实验对比了FedNAG与FedAvg两种算法在不同本地训练迭代次数下进行100轮训练的表现，实验结果如表2所示.实验结果表明，在 CIFAR-10数据集上， FedNAG始终比FedAvg提升约5%~6%的精度，并且能耗更低；在Fashion-MNIST 数据集上，本文所提方法同样保持更高的精度优势和更低的能耗表现.综合来看，K₁=3在精度收益与能耗开销之间实现了较为合理的平衡，因此被选作本文的默认实验参数.

2）FedNAG算法超参数敏感性分析

为评估 FedNAG 算法中动量系数μ与学习率β的敏感性，本文在 CIFAR-10与 Fashion-MNIST 数据集上进行了对比实验，结果如图6和图7所示.

图6和图7的实验结果表明，过高的学习率或过大的动量系数会导致精度下降和收敛震荡；而在μ=0.90∼0.95、β=0.005∼0.01区间内表现最为稳健.本文综合考虑超参数在不同数据集中的表现，在后续实验中统一采用μ=0.90、β=0.01作为默认超参数设置.

4.3.2 训练精度分析

1）不同数据分布下模型训练精度的分析

联邦学习中，通过调整狄利克雷分布（Dirichlet distribution）的参数α，可以有效地模拟和控制客户端之间的数据分布差异，具体而言，当α=0时，数据的划分极端不均匀，每个客户端仅分配到单一类别的数据；随着α的增大，数据分布逐渐趋于均匀.当α越大，数据分布越接近独立同分布.

图8为DDQN-FedAVG算法在CIFAR-10数据集上测试的数据非独立同分布对模型训练收敛性和精度的影响.从图中可以看出，随着α值的增加，模型的训练精度和收敛速度均显著提升.实验结果表明，在车辆客户端数据非独立同分布的场景下，由于不同客户端的数据分布存在显著差异，会直接影响模型训练精度和收敛速度，所以后续实验分别在不同数据分布情况下进行.

2）不同方法训练精度对比

图9和图10分别展示了在不同数据集上，4种算法在训练过程中精度的变化.在不同数据集上，PreScr-DDQN-FedNAG的训练精度均优于DDQN-FedAvg、DQN-FedAvg和Random-FedAvg.实验结果表明，在Non-IID数据环境下与其他三种对比算法相比，本文提出的优化算法显著提高了模型的训练精度和收敛速度，能有效减缓梯度震荡，增强模型稳定性.

4.3.3 时延对比

图11对比了4种方法分别在不同数据分布下的车辆平均最大延迟.以在α=0.5数据分布下使用CIFAR-10数据集训练为例，从图中可以看到，PerScr-DDQN-FedNAG算法由于使用车辆覆盖感知预筛选算法，可以在DDQN选择高质量设备前淘汰信道传输不稳定或可能在训练中途离线的不合格车辆，分别比Random-FedAvg、DQN- FedAvg、DDQN-FedAvg算法时延减少了49.8%、40.8%、26.3%.

4.3.4 能耗对比

图12对比了4种方法在α=0.5数据分布下的能耗表现.从图中可以看出，PreScr-DDQN-FedNAG算法在两个数据集上的训练能耗均显著低于其他算法，这是因为本文算法在前筛阶段，不仅综合考虑车速、移动方向、车辆信道传输质量等参数，还考虑了车辆客户距离参数服务器的距离.智能体会优先选择离边缘服务器距离较近的设备参加训练.相比之下，DQN-FedAvg算法由于没有引入前筛机制，所选择的车辆设备可能距离边缘服务器较远或处于信道质量较差的区域，同时DQN进行设备选择时并未考虑与边缘服务器的距离和通信稳定性，从而导致模型下载和上传过程中的时间消耗增加.随机选择算法由于没有任何优化机制，设备选择完全随机，会导致不合适设备频繁参与训练，因此其能耗表现是最差的.以上结果表明，PreScr-DDQN-FedNAG能通过更合理的设备选择和优化策略选择合格车辆，避免了距离较远或信道传输不稳定的车辆参与联邦学习训练，从而显著降低了训练过程中的能量消耗.

4.3.5 不同车速下模型上传成功率对比

图13和图14分别展示了使用CIFAR-10数据集和Fashion-MNIST数据集在不同车速（5 m/s、10 m/s 和20 m/s）下，使用4种方法的车辆每百轮训练模型平均上传成功率.从图中可以看到，随着车速的增加，使用PreScr-DDQN-FedNAG设备选择策略的上传成功率显著高于其他策略.

在随机选择策略中，设备的选择没有考虑到车辆的动态性和信道的稳定性.车辆的加入和退出完全随机，在高速移动性场景下，车辆可能在联邦学习训练过程中因为信道不稳定或驶出边缘服务器覆盖范围而无法上传训练后的模型，从而导致在车速较高的情况下模型上传成功率显著下降.DDQN算法通过引入深度Q网络，在设备选择过程中考虑了车辆的状态（如位置、速度等），使得选择更加合理.但由于没有考虑车辆是否可能离开覆盖区域或信道质量波动，仍然会受到车辆动态性和环境变化的影响，在高车速情况下，依然无法完全避免模型上传失败问题.与其他三种方法相比，PreScr-DDQN-FedNAG算法在设备选择时进行了移动性覆盖感知预筛选，可以筛选出能够持续参与联邦学习训练的合适车辆.因此，本文所提方法能够有效减少因车辆的动态性（如车速的变化、行驶路径的波动等）和信道传输不稳定导致的模型上传失败.

5 结 论

本文针对车辆边缘计算场景下联邦学习设备选择及聚合优化问题，以最小化计算时延、能耗和最大化模型训练精度为目标，设计了能够动态适应车辆高速移动性变化的多目标分布式客户端选择及聚合优化方法.首先，提出移动性覆盖感知预筛选算法，该算法根据边缘服务器的覆盖范围、车辆行驶速度、当前位置、行驶角度及车辆自身信道传输功率进行建模和预测，提前剔除联邦学习训练过程中可能断连的车辆节点，构建稳定的候选设备集并输出合格车辆队列.随后，设备选择算法在保证模型训练精度的前提下，以最小化训练时延与能耗为目标，从候选集选择最优车辆节点参与联邦学习；最后，提出三层动量聚合优化算法FedNAG，通过引入动量优化算法，解决数据异构引起的模型训练不稳定和收敛缓慢的问题，加速收敛并缓解梯度震荡.实验结果表明，本文所提方法在车辆边缘计算高移动性环境中具有显著的优势，能够更有效地利用边缘计算资源进行联邦学习，在减少任务能耗和时延的同时，显著提升了模型聚合的精度和收敛速度.

参考文献

[1] ZHOU X K， LIANG W， SHE J H，et al ．Two-layer federated learning with heterogeneous model aggregation for 6G supported Internet of vehicles［J］. IEEE Transactions on Vehicular Technology，2021，70（6）： 5308-5317．

[2] 吴建波， 朱文霞， 剧亮， 等 ．边缘计算在智慧交通系统中的应用［J］．计算机与现代化， 2021（12）： 103-109．

[3] WU J B， ZHU W X， JU L，et al ．Application of edge computing in intelligent transportation systems［J］.Computer and Modernization，2021（12）：103-109．（in Chinese）

[4] YU Z X， HU J， MIN G Y，et al ．Mobility-aware proactive edge caching for connected vehicles using federated learning［J］. IEEE Transactions on Intelligent Transportation Systems，2021， 22（8）： 5341-5351．

[5] ZHOU Z， CHEN X， LI E，et al ．Edge intelligence：paving the last mile of artificial intelligence with edge computing［J］. Proceedings of the IEEE，2019，107（8）：1738-1762．

[6] YE D D， YU R， PAN M，et al ．Federated learning in vehicular edge computing：a selective model aggregation approach［J］. IEEE Access，2020，8：23920-23935．

[7] 张雪晴，刘延伟，刘金霞，等 ．面向边缘智能的联邦学习综述［J］．计算机研究与发展，2023，60（6）：1276-1295．

[8] ZHANG X Q， LIU Y W， LIU J X，et al ．An overview of federated learning in edge intelligence［J］．Journal of Computer Research and Development，2023，60（6）：1276-1295．（in Chinese）

[9] NISHIO T， YONETANI R ．Client selection for federated learning with heterogeneous resources in mobile edge［C］//ICC 2019—2019 IEEE International Conference on Communications （ICC）．May 20-24，2019．Shanghai，China．IEEE，2019：1-7．

[10] HUANG J W， MA B W， WANG M，et al ．Incentive mechanism design of federated learning for recommendation systems in MEC［J］．IEEE Transactions on Consumer Electronics，2024，70（1）：2596-2607．

[11] ZHOU Y H， YE Q， LV J C. Communication-efficient federated learning with compensated overlap-FedAvg［J］. IEEE Transactions on Parallel and Distributed Systems， 2022，33（1）：192-205．

[12] DENG Y H，LYU F， REN J，et al ．AUCTION：automated and quality-aware client selection framework for efficient federated learning［J］. IEEE Transactions on Parallel and Distributed Systems， 2022， 33（8）： 1996-2009．

[13] MOON S，LIM Y.Client selection for federated learning in vehicular edge computing：a deep reinforcement learning approach［J］．IEEE Access，2024，12：131337-131348．

[14] WANG H， KAPLAN Z， NIU D，et al.Optimizing federated learning on non-IID data with reinforcement learning［C］//IEEE INFOCOM 2020-IEEE Conference on Computer Communications.July 6-9，2020，Toronto，ON，Canada．IEEE，2020：1698-1707．

[15] ZHAO Y， LI M， LAI L Z，et al ．Federated learning with non-IID data［EB/OL］．2018：arXiv：1806.00582．

[16] SATTLER F， WIEDEMANN S， MÜLLER K R，et al ．Robust and communication-efficient federated learning from non-i.i.d.data［J］．IEEE Transactions on Neural Networks and Learning Systems，2020，31（9）：3400-3413．

[17] LI T， SAHU A K， SANJABI M， et al. Federated optimization in heterogeneous networks［J］. 2018.DOI：10.48550/arXiv.1812. 06127 .

[18] WANG J Y， LIU Q H， LIANG H，et al ．Tackling the objective inconsistency problem in heterogeneous federated optimization［EB/OL］.2020：arXiv：2007.07481.

[19] ZHANG J Q， HUA Y， WANG H，et al ．FedALA：adaptive local aggregation for personalized federated learning［J］．Proceedings of the AAAI Conference on Artificial Intelligence，2023，37（9）：11237-11244．

[20] LIU J， LIU J C， XU H L，et al ．YOGA：adaptive layer-wise model aggregation for decentralized federated learning［J］．IEEE/ACM Transactions on Networking，2024，32（2）：1768-1780．

[21] 巨涛， 张文金， 杨垚， 等. 一种二阶决策的车联网边缘计算任务动态卸载方法［J/OL］. 吉林大学学报（工学版）， 1-13［2025-04-26］.

[22] JU T， ZHANG W J， YANG Y， et al. A dynamic offloading method for edge computing tasks in the internet of vehicles based on second-order decision-making ［J/OL］. Journal of Jilin University （Engineering and Technology Edition）， 1-13 ［2025-04-26］. （in Chinese）

[23] VAN HASSELT H， GUEZ A， SILVER D. Deep reinforcement learning with double Q-learning［C］//13th AAAI Conference on Artificial Intelligence. Phoenix， AZ： AAAI Press， 2016， 30（1）： 2094-2100.

[24] HUO Z Y， YANG Q， GU B，et al ．Faster on-device training using new federated momentum algorithm［EB/OL］.2020：arXiv：2002.02090．

[25] MUEHLEBACH M， JORDAN M I ．Optimization with momentum：dynamical，control-theoretic，and symplectic perspectives［J］．2021， 22（1）： 3407-3456．

[26] YANG Z J， BAO W， YUAN D，et al ．Federated learning with nesterov accelerated gradient［J］．IEEE Transactions on Parallel and Distributed Systems， 2022， 33（12）： 4863-4873．

[27] XIAO H， RASUL K， VOLLGRAF R ．Fashion-MNIST：a novel image dataset for benchmarking machine learning algorithms［EB/OL］. 2017： arXiv：1708.07747.

[28] ABOUELNAGA Y， ALI O S， RADY H，et al ．CIFAR-10：KNN-based ensemble of classifiers［C］//2016 International Conference on Computational Science and Computational Intelligence （CSCI）， December 15-17，2016，Las Vegas，NV，USA． IEEE，2017：1192-1195．

基金资助

国家自然科学基金资助项目(61862037)

国家自然科学基金资助项目(62262038)

National Natural ScienceFoundation of China(61862037)

National Natural ScienceFoundation of China(62262038)

甘肃省教育科技创新项目(2026B-266)

Gansu Provincial Education, Science and Technology Innovation Project(2026B-266)

兰州市科技计划项目(2025-2-41)

Lanzhou Science and Technology Plan Project(2025-2-41)