基于再生制动能高效利用的列车运行方案优化

Optimization of Train Operation Plans Based on Efficient Utilization of Regenerative Braking Energy

摘要

随着城市轨道交通的快速发展，列车运行能耗问题已成为行业关注的焦点。传统的节能控制方法在大规模列车智能协同方面存在一定的局限性。为了优化总体能耗，尤其是有效利用再生制动能，研究提出了一种结合微观列车驾驶策略与宏观列车运行方案的优化求解框架。通过考虑列车运行过程中发车、站间操纵及停站等关键因素，深入刻画列车在单向运行过程中的全链路控制环境，构建多列车协同工况优化模型。引入一种多列车牵引制动重叠时间框架，提出一种融合多头注意力机制的多智能体协同深度确定性策略梯度算法(Multi-headed Attention Mechanism & Multi-Agent Deep Deterministic Policy Gradient，Mam-MADDPG)求解框架，快速实现多列车运行能耗优化求解。使用北京地铁亦庄线数据进行仿真验证，结果表明，提出的Mam-MADDPG方法在再生制动能利用方面提升近20%的节能效率，且具备较强的稳定性。这一研究为城市轨道交通的节能减排提供了新思路。

Abstract

With the rapid development of urban rail transit, the issue of train operation energy consumption has been recognized as a focal point of concern in the industry. Traditional energy-saving control methods have limitations in handling the intelligent coordination of large-scale trains. To optimize overall energy consumption, especially the effective utilization of regenerative braking energy, an optimization framework combining microscopic train driving strategies with macroscopic train operation plans was proposed in this study. By considering key factors such as train departure, inter-station maneuvering, and station stops during the entire train operation process, a comprehensive control environment for trains in a unidirectional operation was thoroughly characterized, and a multi-train coordination optimization model was constructed. A multi-train traction-braking overlapping time framework was introduced, and a solution framework based on a multi-headed attention mechanism & multi-agent deep deterministic policy gradient (Mam-MADDPG) algorithm was proposed, enabling the rapid optimization of multi-train operation energy consumption. Simulation validation using Yizhuang Line data of Beijing Subway shows that the proposed Mam-MADDPG method improves energy-saving efficiency by nearly 20% in terms of regenerative braking energy utilization while demonstrating strong stability. This research provides a new approach to energy conservation and emission reduction in urban rail transit.

Graphical abstract

关键词

城市轨道交通 / 列车节能 / 再生制动能 / 多智能体强化学习 / 深度确定性策略梯度算法

Key words

Urban Rail Transit / Train Energy Saving / Regenerative Braking Energy / Multi-Agent Reinforcement Learning / Deep Deterministic Policy Gradient Algorithm

0　引言

城市轨道交通已经成为城市公共交通的骨干，具有绿色环保、大运输容量、高频率、全天候和安全等特点。然而，随着运营里程的不断增长，轨道交通中过度能源消耗的问题也逐渐显现，其中牵引能耗占据了最大部分。为提高城市轨道交通运营的能源效率，已开发了各种节能技术，例如惯性模式控制、可逆变电系统和再生制动技术^[1]，其中再生制动技术是列车节能的最重要方面之一。

当前国内外专家学者对于城市轨道交通大规模列车协同节能运行方案研究已取得了一定的进展，其中重叠时间框架^[2-7]是解决该问题的常用研究范式之一。然而，提升列车运行方案调整问题的时间求解精度一直是研究热点。最开始普遍使用的方法是混合整数线性规划^[2]，Shao等^[3]提出结合列车时刻表和停靠计划的集成优化模型，并使用自适应大规模邻域搜索(ALNS)算法来求解多目标混合整数线性规划。Sun等^[4]提出通过调整非制动阶段运行的相邻列车的速度曲线来吸收制动列车的再生制动能，能效提高13%。Zhong等^[5]将列车驱动相位调整问题表述为协作最优控制问题，通过应用控制参数化方法以及对能量约束和非光滑控制边界约束的精细处理，并使用顺序二次规划算法求解。Xun等^[6]提出一种近似动态规划方法来调整加速状态下的列车速度曲线。Yang等^[7]从各站列车的出发和到达时间入手建立多目标整数规划模型，并设计非支配排序遗传算法Ⅱ来寻找最优解。上述方法在优化列车能量利用和时刻表协调方面虽然取得了一定进展，但普遍存在计算复杂度高、对实际场景的适应性有限的问题。

随着启发式算法的性能优化，包括人工蜂群算法^[8]、模拟退火算法^[9]、协同进化算法^[10]、遗传算法及其变种^[11-12]在内的多种方法被用于求解大规模列车协同节能运行方案优化问题，进一步拓宽了解决方案的边界。Liu等^[8]考虑车头时距和停留时间设计了一种改进的人工蜂群算法。Su等^[9]以最小化系统净能耗为目标，提出一种联合优化列车时刻表和驾驶策略的列车一体化运行方法，并采用模拟退火算法对列车的行程时刻和车头时距进行优化。Bai等^[10]提出一个关于列车加速牵引和停车制动程度以及列车运行模式切换位置的模型框架，并开发协作共同进化算法来获得所提出模型的解决方案。Ning等^[11]从站间运行时间的协同入手，使用遗传算法中染色体特性表示可能的运行阶段组合，利用剩余运行时间实现最小能耗。Pan等^[12]通过结合时刻表和列车轨迹，建立交流电铁路系统总能耗最小的综合时刻表优化模型，并通过所提出的混合GA-PSO算法获得最优综合时刻表。郑亚晶等^[13]通过调整发车间隔和停站时间，建立地铁运行图优化模型，提升再生制动电能的使用效率，并应用滚动优化技术和专业软件进行求解。尽管多种启发式算法在多列车协同节能问题建模上有了较强的针对性，但全局最优解难以保证，对运行环境的动态变化响应不足等局限性亦有待提高。

在最近的研究中，深度强化学习通过其强大的功能逼近和决策学习能力，使得列车运行策略的制定不仅仅依赖于预设的规则，而是能够基于环境反馈自主学习和调整，这种方法在处理多列车系统的复杂性和动态性方面展现出了巨大的潜力。Xie等^[14]提出一种基于策略的强化学习方法，通过调整列车的到站停留时间和巡航速度来重新安排地铁时刻表并优化干扰下地铁系统的能源效率。Sun等^[4]提出利用值函数分解方法将全局Q函数分解为多个局部Q函数，其更新方法可以应用于根据再生能量的传输机制来更新局部Q函数。Shang等^[15]提出一种使用多智能体合作行动评论家的深度强化学习方法，其采用动作表示技术进行泛化，以规避控制动作的高维特性，并将多个智能体部署在Spark云平台上，通过多节点并行计算，提高运行效率。然而，训练样本需求大、收敛速度慢以及在多智能体协作环境下协调适应度低的问题依然存在。

综合分析发现，由于每列列车的运动状态较为复杂，列车时刻表涉及的列车发车间隔、站间运行时间及站台停车时间调整将影响整体时效和再生制动能的利用效率，此外，列车运行方案调整还需遵守追踪列车最小安全时距、闭塞区间车辆数限制等一系列时间约束条件。但目前基于强化学习的列车运行方案优化方法中，既有的研究以加速度协同或功率协同仿真模型为主，缺乏从工况调整角度考虑能耗作用机理，仿真环境的搭建过程不够清晰。

鉴于上述问题，本研究以运行时间作为切入点，首先，根据列车运行的关键过程，将工况运行和到站停留时间作为主要决策变量，考虑不同工况组合的约束条件以构建多列车协同工况优化模型，以此缩减可行解空间提升决策效率。在此基础上，提出一种融合多头注意力机制的多智能体协同深度确定性策略梯度算法(Multi-headed Attention Mechanism & Multi-Agent Deep Deterministic Policy Gradient，Mam-MADDPG)，通过多头注意力机制，使每个智能体能够从多个维度感知其他列车的关键特征；采用集中学习、分散执行策略，快速收敛，缩短训练时间。

1　模型构建

在单向地铁线中，合理分配和调整列车从首站发车、站间运行到各站停站的时间，以实现多列车协同的再生制动能利用最大化。因此，单向线路列车运行优化模型示意如图1所示。

假设有序列车p从站点n出发的发车时间表示为t_n^p，列车p+\mathrm{1}从站点n出发的发车时间可以表示为

t_n^{p+\mathrm{1}}=t_n^p+t_S^{p+\mathrm{1}}⑴

式中：t_S^{p+\mathrm{1}}为列车在始发站的发车间隔时间，s。

列车p从n+1站出发的时间表示为

t_{n+\mathrm{1}}^p=t_n^p+{\mathrm{ℛ}}_n^p+{\mathrm{𝒟}}_{n+\mathrm{1}}^p⑵

式中：{\mathrm{ℛ}}_n^p为列车p在n站至n+1站站间运行的时间，s；{\mathrm{𝒟}}_{n+\mathrm{1}}^p为列车p在第n+1站的停站时间，s。

此外，在调整列车时刻表时，车站之间的运行时间也可以表示为

{\mathrm{ℛ}}_n^p={\mathrm{ℛ}}_n+{\mathrm{𝒰}}_{r,n}^p⑶

式中：{\mathrm{ℛ}}_n为列车p在n站至n+1站站间的原始运行时间，s；{\mathrm{𝒰}}_{r,n}^p为列车p在n站间的运行控制调整量，s，用于对列车在站间的运行时间进行增减调控。

具体来说，由于列车在站间运行可以被划分为牵引、巡航、惰行、制动4个阶段，因此，列车的站间运行模型又可以细化为

{\mathrm{ℛ}}_n={\mathrm{ℛ}}_{tr,n}+{\mathrm{ℛ}}_{cr,n}+{\mathrm{ℛ}}_{co,n}+{\mathrm{ℛ}}_{br,n}⑷

故而，列车在站间运行的调整量也可以细化为

{\mathrm{𝒰}}_{r,n}^p={\mathrm{𝒰}}_{tr,n}^p+{\mathrm{𝒰}}_{cr,n}^p+{\mathrm{𝒰}}_{co,n}^p+{\mathrm{𝒰}}_{br,n}^p⑸

与式⑶相类似的，停站时间也可以分解为

{\mathrm{𝒟}}_n^p={\mathrm{𝒟}}_n+{\mathrm{𝒰}}_{\mathrm{𝒟},n}^p⑹

式中：{\mathrm{𝒟}}_n为列车在n站的原始停站时间，s；{\mathrm{𝒰}}_{\mathrm{𝒟},n}^p为列车p在第n站的停站时间调整量，s，用于对列车在站的停站时间进行增减调控。

通过式⑴至⑹，贯穿单趟列车运行全链路始终的发车时刻、站间不同工况的施加时间和停站时间将确定该列车在单方向上的运行方案。对于既有地铁线路而言，某个站间的长度、线路条件、速度上限和供电分区是固定的，车辆的牵引、惰性、制动特性曲线以及基本阻力参数也是已知的。

当任一列车k以速度v_k在第n个站间行驶时，假设其某一时刻所处位置为x_k，时间量为t，则表征列车运动的数学模型可以描述为

\frac{\mathrm{d}t}{\mathrm{d}{x}_k}=\frac{\mathrm{1}}{v_k}⑺

\frac{\mathrm{d}{v}_k}{\mathrm{d}{x}_k}=\frac{{\mu }_k^{F}F(v_k)-{\mu }_k^{B}B(v_k)-R(v_k)-g(x_k)}{G_k{v}_k}⑻

式中：{\mu }_k^F和{\mu }_k^B分别为列车牵引力和制动力的相关系数，当列车处于牵引工况时，{\mu }_k^F=\mathrm{1},{\mu }_k^B=\mathrm{0}；当列车处于制动工况时，{\mu }_k^F=\mathrm{0},{\mu }_k^B=\mathrm{1}；g(x_k)为列车运行过程中受到的以坡道阻力为主的线路附加阻力，kN；G_k为列车行驶过程中的总质量，t，包括车体的空载质量和列车上乘客质量之和。

当列车k在第n个站间开始施加牵引工况启动，在这一过程中所消耗能量可以表示为

e_{tr,n}^k={\int }_{t_n^k}^{t_{tr,n}^k}F(v_k)v_k\mathrm{d}t⑼

式中：t_{tr,n}^k为列车k在站间n牵引结束的时刻，t，其将作为一个状态变量在后续的实验中不断优化。

制动列车实施电制动所产生的能量是再生制动能产生的根本源头，以制动列车为计算对象，再利用的再生制动能可以计算为制动力与速度的乘积在重叠时间内的积分，由此，处于同一供电分区的两列车k和k'在第n个站间的再生能量利用可以建模如下。

e_{re,n}^k=\eta \cdot {\displaystyle \sum _{k^{\text{'}}=\mathrm{1}}^K}\lambda (k,k^{\text{'}})\cdot {\int }_{t_{br,st,n}^{k^{\mathrm{\text{'}}}}}^{t_{br,en,n}^{k^{\mathrm{\text{'}}}}}B(v_k)v_k\mathrm{d}t⑽

式中：\eta为再生制动能的能量转化效率；\lambda (k,k^{\mathrm{\text{'}}})是一个0-1变量，当列车k和k'在同一个供电分区，且k不等于k'时，\lambda (k,k^{\mathrm{\text{'}}})等于1；当列车k和k'不在同一个供电分区时，\lambda (k,k^{\mathrm{\text{'}}})等于0；在第m个站间中，当牵引列车k和制动列车k'之间存在时间重叠时，t_{br,st,m}^{k^{\mathrm{\text{'}}}}和t_{br,en,m}^{k^{\mathrm{\text{'}}}}分别为制动列车k'的制动开始时间和制动结束时间。

当制动列车同一分区内没有牵引列车时，再生制动能为0。值得一提的是，每个站间每列车使用的再生制动能量不会超过牵引和制动重叠时间内所需的牵引能量，即。

假设单方向线路中车站数量为M，则地铁列车节能运行协调的目标是使K辆车在每辆车运行完成一趟运营的条件下，总的实际能耗最小化，可以表示为

\mathrm{m}\mathrm{i}\mathrm{n}E={\displaystyle \sum _{k=\mathrm{1}}^K}{\displaystyle \sum _{m=\mathrm{1}}^M}(e_{tr,m}^k-e_{re,m}^k)⑾

通过上述建模，将列车调度协调的顶层优化与站间速度曲线优化的中间层相结合，将一趟列车单方向运行过程拆解为多个运行时段进行组合优化，以确保列车在站间运行的各个阶段被细化。

2　多列车协同学习策略求解框架

多智能体深度确定性策略梯度(MADDPG)作为一种有效的多智能体强化学习方法，尤其适用于处理具有连续动作空间的复杂环境。MADDPG算法的核心由2部分组成：Actor网络，负责选择动作；Critic网络，负责评估动作的价值。然而，在高度动态和协作性的多智能体环境中，传统的MADDPG算法面临着理解和优化智能体间复杂交互的挑战。为了解决这一问题，提出一种融合多头注意力机制的多智能体协同深度确定性策略梯度(Mam-MADDPG)算法。

2.1　Mam-Actor模块

多头注意力机制的核心思想是同时从不同角度对同一组数据进行关注，以捕捉数据的不同方面信息，从而提高模型的表达能力。本研究多头注意力机制被集成到Actor网络中，以更好地捕捉和处理多智能体环境中的复杂交互。首先，Actor网络通过输入当前智能体的观测状态，生成与该状态相关的一组特征表示。然后，这些特征通过一组可训练的权重矩阵进行线性变换，得到多头注意力机制所需的查询向量(Q)、键向量(K)和值向量(V)。接下来，通过计算查询和键之间的点积，量化不同状态之间的相关性，并通过softmax函数对其进行归一化处理，得到各部分对当前决策重要性的注意力权重。

Attention(Q,K,V)=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\frac{Q{K}^{\mathrm{T}}}{\sqrt[]{d_k}})V⑿

之后将每个注意力头的输出并行计算，分别获得不同角度的输出特征。最后，将这些并行输出拼接起来，并通过一个线性层对结果进行整合，生成一个单一的连贯输出。在经过多头注意力处理后，这一输出进一步传递至Actor网络的后续全连接层，以最终生成智能体的动作值。

MultiHead\left(Q,K,V\right)=Concat\left(h_{\mathrm{1}},\cdots ,h_H\right)W^O⒀

其中，h_i=Attention\left(Q{W}_i^Q,K{W}_i^K,V{W}_i^V\right)，W_i^Q,W_i^K,W_i^V是对应的线性变换权重矩阵，W^O是输出层的权重矩阵。注意力机制下Actor网络动作选择流程如图2所示。

2.2　Mam-MADDPG求解框架

Mam-MADDPG算法中包含了一种特化的Actor-Critic方法，专门设计用于处理多智能体环境中的复杂交互和协作。在MADDPG框架中，每个智能体i都具有自己的Actor(策略函数)和Critic(价值函数)。智能体的策略网络负责根据全局状态s和自身观测s_i来决定其动作a_i。与此同时，价值函数可以表示为Q^i\left(s,a_{\mathrm{1}},\dots a_N;{\theta }^{Q_i}\right)，负责在给定全局状态s和所有智能体的动作a_{\mathrm{1}},\cdots ,a_N情况下，评估这些动作的价值，预测当前策略下的期望回报。Mam-MADDPG算法流程如图3所示。

在Mam-MADDPG中，Actor网络利用多头注意力机制从其他列车运行计划智能体的状态集中提取特征，然后结合自己当前时刻s_i状态生成动作a_i。

a_i={\pi }_{{\theta }_i}\left(s_i|MultiHead\left(s_{\mathrm{1}},s_{\mathrm{2}},\cdots ,s_n\right)\right)⒁

其中，{\pi }_{{\theta }_i}表示当前智能体i的策略网络。在此框架下动作值函数也能够应用多头注意力机制网络评估。

Q_i=Q_{{\varphi }_i}\left(s_{\mathrm{1}},s_{\mathrm{2}},\cdots ,s_n,a_{\mathrm{1}},a_{\mathrm{2}},\cdots ,a_n|Multihead\left(s_{\mathrm{1}},s_{\mathrm{2}},\cdots ,s_n\right)\right)⒂

其中，Q_{{\varphi }_i}是价值函数网络的估计动作值函数。引入多头注意力机制后，策略梯度的计算仍然通过最大化预期累积奖励来优化智能体的策略。每个智能体的策略梯度更新基于当前的动作值函数，计算Actor网络在当前状态下选择动作的梯度。之后基于这些梯度，Actor网络的参数得以更新，以提高其在特定状态下选择满足条件的列车运行工况作用时间的能力。

综上所述，Mam-MADDPG算法步骤如表1所示。

上述为融合多头注意力机制的Actor网络的MADDPG算法步骤。在这个算法中使用多头注意力来增强智能体的Actor网络。在更新Actor网络时，对于每个样本，通过注意力机制加权计算策略梯度。这种方法允许智能体更好地理解和适应其他智能体的行为。注意力头会提供不同的视角来评估其他的智能体行为。

2.3　Mam-MADDPG算法流程

在城市轨道交通多列车协同工况调整模型中，研究所提出的Mam-MADDPG算法框架通过利用多头注意力机制，使每个列车智能体能够从牵引制动时长、停站时间等多个角度关注其他列车的运行状态与动作特征，实现列车之间的高效协同与信息共享。算法主要通过以下5个步骤进行优化。

（1）初始化。每列列车智能体的状态包括：当前速度、位置、牵引时间、惰行工况转换点、停站时间等。这些状态变量构成了智能体的观测输入。其中Mam-Actor网络负责根据列车当前的状态选择动作，包括列车牵引、巡航、惰行的起始时刻和持续时间；Critic网络则评估每次动作对于列车整体能耗优化的贡献，特别是评估再生制动的重叠时间等要素。在初始化时，随机设置Actor和Critic网络的参数。

{\theta }_{Actor}~\mathrm{𝒩}\left(\mathrm{0},{\sigma }^{\mathrm{2}}\right),{\varphi }_{Critic}~\mathrm{𝒩}\left(\mathrm{0},{\sigma }^{\mathrm{2}}\right)⒃

其中，\mathrm{𝒩}\left(\mathrm{0},{\sigma }^{\mathrm{2}}\right)为高斯分布，网络权重参数初始化为零均值、方差为{\sigma }^{\mathrm{2}}的随机值，并初始化用于经验回放的经验池。

（2）列车发车与运行策略。在每个时间步，Mam-Actor网络根据当前列车的状态选择动作。对于列车的发车时刻，智能体通过观测其与前方列车的安全发车时间距离，确定合理的发车时间。为实现协同控制，算法引入多头注意力机制对各列车状态，包括牵引最大速度、列车当前位置、制动状态等进行并行计算和特征提取，以便在考虑多列车之间潜在交互影响的基础上，动态权衡发车和牵引持续时间。在每个时间步t，Mam-Actor网络基于列车的状态s_i^t选择动作a_i^t，决定发车时间、牵引时长等，当前时刻动作选择公式为

a_i^t={\pi }_{{\theta }_i}\left(s_i^t|MultiHead\left(s_{\mathrm{1}}^t,s_{\mathrm{2}}^t,\cdots ,s_n^t\right)\right)⒄

（3）停站时间优化策略。当列车到达车站时，Mam-Actor网络根据其他列车的状态，尤其是前后列车的运行和制动情况，决定是否延长或缩短停站时间。通过多头注意力机制，算法对不同列车的速度、位置、制动状态等关键特征进行多层次加权处理，自动聚焦于与当前决策相关的列车状态，帮助智能体准确评估延长或缩短停站时间对整体再生制动重叠时间利用效率的影响，从而在不影响安全间隔的前提下优化列车停站时长控制策略。

（4）基于经验回放池的学习。每次列车执行完动作后如发车时刻选择、牵引时长选择、惰行转换点选择等，将当前状态、动作、奖励存入经验回放池。

\mathrm{𝒟}\leftarrow \mathrm{𝒟}\bigcup \left\{\left(s_i^t,a_i^t,r_i^t,s_i^{t+\mathrm{1}}\right)\right\}⒅

在此基础上，Critic网络通过回放池的数据来评估每列列车的动作在整体能量优化中的表现，并通过梯度下降更新网络参数{\varphi }_i\leftarrow {\varphi }_i-\alpha {{\nabla }_{\varphi }}_{{}_i}{\delta }_i^t。

{\delta }_i^t=r_i^t+\gamma Q_{{\varphi }_i}\left(s_i^{t+\mathrm{1}},a_i^{t+\mathrm{1}}\right)-Q_{{\varphi }_i}\left(s_i^t,a_i^t\right)⒆

（5）集中学习分散执行。尽管每列列车的Actor网络只能访问自身的状态s_i^t，但Critic网络能够访问全局状态s_{\mathrm{1}}^t,s_{\mathrm{2}}^t,\cdots ,s_n^t，包括所有列车的状态和动作，通过共享全局信息来提高每个智能体的学习效率。

{\nabla }_{{\theta }_i}J\left({\theta }_i\right)=E_{s,a~D}\left[{\nabla }_{a_i}{Q}_{{\varphi }_i}\left(s,a_{\mathrm{1}},\cdots ,a_n\right){\nabla }_{{\theta }_i}{\pi }_{{\theta }_i}\left(s_i\right)\right]⒇

这样，所有列车都能在训练过程中基于整体系统的动态进行优化。

3　基于Mam-MADDPG算法的单向线路列车运行方案优化

多列车在单向线路各站间连续运行的系统组分可以映射于多智能体强化学习的各个要素，从而实现对多列车的站间运行方案以最大化再生制动能的利用率为目标的宏观调控。

3.1　运行方案学习环境搭建

多智能体强化学习通过各个智能体与环境的交互不断迭代，并以得到的反馈信息更新动作选择与所处状态，以实现多智能体间相互协调达到共同的目标。因此强化学习的环境搭建至关重要，环境对于各个智能体的影响将贯穿始终。舍弃前人研究中以每列车为一个智能体的环境搭建方法，为适应不同列车的发车时间、工况控制时间、停站时间的状态分布，将该列车的运行方案设置为一个整体可视化的表格，列车初始化运行方案(部分)如表2所示，其中每列表示1列列车，每行为关键时间点的控制时刻，为距离0时刻的秒数。如第1行表示列车的发车时刻、第2至4行分别为列车在第一站间的牵引、巡航、惰行工况的作用结束时刻，第5行为列车从第2站出站时刻等等以此类推。

每个智能体从表格中提取列车在当前状态下的持续时间信息，并通过训练过程学习如何从给定的状态空间中优化观测值。训练完成后，智能体将新学习到的状态更新反馈给环境，从而实时调整并更新当前的列车时刻表格。

3.2　基本要素映射

多列车运行方案强化学习(Multi-train operation scheme reinforcement learning，MOS-RL)模型是建立在多列车强化学习环境基础上的，针对环境所预留的交互接口，模型需要创建相应的观测空间、动作空间、奖励函数和可行策略。

（1）动作。在MOS-RL模型中，将多个智能体依据其动作空间的特性分为2大类，一类是拥有连续整型单一取值空间的等候智能体，该类智能体用于控制列车发车时间和在站停留时间等取自于单值整型的动作空间变量，即以某个在约束条件内的停留时间为边界，动作取值为A_{dwell}=\left\{a_d\left|a_d\in [-u_d^{\mathrm{m}\mathrm{a}\mathrm{x}},u_d^{\mathrm{m}\mathrm{a}\mathrm{x}}]\right.\bigcap a_d\in Z\right\}；另一类智能体是工控智能体，由于列车在站间运行的过程中4种工况先后存在并且相互不独立，且在站间距离恒定的情况下，4种工况的作用时间能够由其三唯一确定，因此工控智能体的动作选择空间由先验知识提前确定，不同的站间距离与站间运行时间裕度会产生容量不同的先验空间，因此工控智能体的动作取值为A_{cond}=\left\{a_c\left|a_c\in \right.P_{FS}\right\}。

（2）状态。在MOS-RL模型中，列车所处位置的作用时间是关键的控制状态，将表1中提取到的时刻累计值拆分能够得到列车在不同状态下的工况作用时间与在站停留时间，通过对于时间的转化能够缩减探索范围更进一步细化列车控制变量。对于等候智能体，其状态空间的取值由模型精度及允许变化的时间范围确定，可以定义为S_d=\left\{s_d=[s_{d,\mathrm{1}},\cdots ,s_{d,n}]\left|s_{d,i}\in [T^{-\mathrm{l}\mathrm{i}\mathrm{m}},T^{\mathrm{l}\mathrm{i}\mathrm{m}}]\right.,s_{d,i}\equiv T^{-\mathrm{l}\mathrm{i}\mathrm{m}}(\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{\Delta }t)\right\}；对于工控智能体，其状态空间由牵引、巡航、惰行工况的可作用时间范围、线路速度限制、站间距离和运行时间裕度共同确定，可以定义为在相应约束条件下的多列车工况状态S_c=\left\{s_c=\left[\left[s_{c,\mathrm{1}}^{tr},s_{c,\mathrm{1}}^{cr},\right.\right.\right.\left.s_{c,\mathrm{1}}^{co}\right],\cdots ,\left[s_{c,n}^{tr},s_{c,n}^{cr},s_{c,n}^{co}\right]\left|t_{tr},t_{cr},t_{co},V^{\mathrm{l}\mathrm{i}\mathrm{m}},D,R\right.。

（3）奖励。由于研究目的是最大化早高峰时段多列车再生制动能利用，因此同一供电分区的多列车牵引制动重叠时间是首要的考虑目标。所以奖励函数为所有智能体采用完全合作机制得到的全局总奖励，奖励函数构造为所有供电分区内的列车牵引制动重叠时间的累计值，表示为r=\sum _{\delta \in }\sum _{\phi ,\psi \in }{\alpha }_{{\phi }_{\delta },{\psi }_{\delta }}\cdot ({\phi }^{tr}\bigcap {\psi }^{br})。其中，为线路供电分区总数，\delta为任一供电分区，\phi ,\psi分别为当前供电分区内处于牵引和制动工况下的时段长度。

（4）策略。研究所采用的算法是基于深度确定性策略改进的，因此属于确定性策略范畴，即不需要大量样本去求出所有可能动作的概率分布，在智能体处于某一状态时，仅取最大概率的动作，即{\pi }_{\theta }(s)=a。

4　数值仿真

选取北京地铁亦庄线下行线路早高峰时段7：00—8：00由宋家庄站发出的19列车为仿真实验对象，通过使用提出的Mam-MADDPG算法求解多列车再生制动能的产生量，并验证算法对能量优化后的列车运行方案的适用性。

4.1　仿真参数设置

设置单向线路多列车运行环境仿真实验参数，仿真参数设置如表3所示。所有仿真实验硬件配置为12核12th Gen Intel(R) Core(TM) i5-12490F处理器，基于Python3.8和torch2.0+cu117软件环境编程开发。

除此之外，各个站间的运行时间、停站时间允许范围等将作为重要的模型约束来规范状态集的规模，列车运行时间信息如表4所示。

4.2　仿真方案训练

在仿真方案训练时，为探索改进算法中所引入的基于多头注意力机制的Actor网络特征提取的适用性，评估不同头数对网络性能的影响，选取不同头数的注意力机制进行对照实验，比对多头注意力机制在处理复杂多智能体环境中所发挥的动作选择作用，并找出最适当的头数配置，提高其在多列车运行方案环境中与MADDPG算法相匹配时的效果。其中Actor网络、Critic网络均采用3层隐藏层神经元数量为128的全连接神经网络结构，且采用经验回放方法每次取出256条数据学习训练。不同头数的注意力机制控制下算法训练结果如图4所示，为使用4种不同头数的注意力机制控制下算法训练10 000个回合得到的对比数据。

从图4中可以看出当注意力机制头数较少时，回合单步奖励呈现缓步上升趋势，但回合奖励的稳定性较好，具体表现为置信区间浮动范围较小，表明较少的头数可能有助于保持模型的学习稳定性，但提升效率有限。相较之下，随着头数的增加，奖励的增长速度加快，但置信区间也相应变大，显示出较高的波动性。如当头数为5时，单步回合奖励在3 200回合到6 000回合出现极不稳定的大幅度无序震荡，由此能够推断出施加5头注意力机制的Actor网络对于既有的动作空间的选择特性不够稳定，容易受到自身多重注意力的影响导致其对于动作特征分类界定较为模糊。而随着头数的进一步增加，生成的全局奖励逐渐表现出对于特征聚焦的适应性，能够更快地学习，尽管无法排除多头数聚焦带来的过拟合或对异常值的敏感度提高的问题，但就其针对列车运行方案模型较低的置信偏差与稳健的收敛特性，表明了相对较高的头数(如8)在整合多种智能体不同动作集特征时的潜在稳定性和效率。

改进算法与常见算法奖励值对比如图5所示，从全局奖励值对比可以看出其中3种算法对于列车运行优化模型有着较为明显的收敛趋势，而对于MAPPO算法来说，尽管该算法前期奖励值提升显著，但在设定的10 000步训练回合内均值奖励波动幅度明显，且尚未出现收敛趋势。相对于其他用于本算例环境且能够收敛的算法，如MADDPG、MASAC，Mam-MADDPG表现出较为稳定和持续的学习进步，奖励值的增长在600回合至4 500回合呈现稳步阶跃趋势，纵向对比较于其基准MADDPG算法而言，由于在策略网络动作选择阶段引入了多头注意力机制，能够对复杂的动作空间更好实现多点聚焦并针对不同的动作维度都展现出了较好的适配性，且全局奖励置信区间维持在较高水平，验证了改进算法的有效性和稳定性。

对比3种收敛算法在所搭建的环境场景下对于节能效率的提升，改进算法与常见算法的节能效率对比如图6所示。MASAC算法在训练过程中节能效率均值在3%附近上下浮动，峰值接近8%；MADDPG算法在训练过程中节能效率均值颤动在5%~10%。改进算法Mam-MADDPG在训练过程中节能效率均值稳定在10%附近，相较对比算法而言提升了3~4个百分点，节能绩效显著。此外从图线走势来看，尽管所有算法在初始阶段均表现出一定程度的波动性，但Mam-MADDPG在经过足够的训练回合后，显示出更稳定的趋势。这一结果凸显了Mam-MADDPG在提高节能效率方面的潜力，为进一步研究提供了有价值的参考。

经过多列车协同调整运行方案后，得到协同优化方案节能效果对比如表5所示，早高峰7：00—8：00时段内，19列车单向开行牵引能耗总计4 385.63 kW·h，其中有效利用再生制动能862.77 kW·h，再生能占比接近20%。协同方案尽管在牵引工况下没有满足单列车节能运行控制方案的规划，总牵引能耗相对较高，但源于其对于再生能量的合理利用，其再生制动能利用比提升近60%，使得牵引净能耗相比初始方案而言明显降低，表现出优化方案对于再生能量利用的可行性。

4.3　仿真方案测试

为了验证改进算法的有效性，选择将训练结果较好的模型超参数保留，针对实际应用场景下的列车运行方案进行测试。在设置测试环境时，场景设置在仿真方案训练的基础上进行变化，多仿真场景参数设置如表6所示。其中“±”表示在该范围内生成的随机增减量，0表示同训练方案默认值一样，不变化。不同场景下列车运行方案重叠时间测试结果如图7所示。

图7a中可以看出随着发车时间间隔的不稳定变化，多列车协同产生再生制动能的利用范围呈现出以2 600~2 900 s区间为峰值的正态分布，此时段全线列车数量饱和，能够稳定产生较高再生能量；图7b场景中，牵引加速的微小变化并未引起全线再生能量分布的显著变化，适当降低牵引加速度会导致列车牵引时间增加，理论上增加再生能量的可覆盖窗口期。图7c场景中，制动初速度的提高会在一定程度上增加制动行程，提高再生能利用率，但再生能广泛分布比较散乱，存在较为明显聚散特征。图7d场景中，停站时间的变动会给再生能量的利用带来较大的不确定性，但总的来看制动-牵引重叠时间区间的分布较为均匀，能够满足线路全时段运行的再生能量利用。

总体来说，基于多列车协同控制模型与Mam-MADDPG算法得到的单向线路列车运行方案拥有较强的鲁棒性，能够针对列车运行过程中各个部分关键要素的变化做出适当的变更以满足最大化再生制动能利用效率的要求，在面对实际运行过程中可能出现的不确定性场景变化时，能够保持列车运行的高效和稳定。

对比仿真线路下行方向使用基于Mam-MADDPG算法的列车节能协同控制模型后得到的运行方案与现有运行方案，下行方向运行方案调整图如图8所示。可以看出优化后的列车运行方案对于现有运行方案有部分微调，但整体变动不大，能够便捷地代替现有方案，不至于施加过大改动。

5　结束语

针对单方向多列车再生制动能利用方案问题，搭建了多列车协同运行环境，提出引入多头注意力机制策略网络的改进多智能体深度确定性策略梯度节能优化方法，并设计了仿真运行方案实验对比检验算法性能。在集中式训练阶段，全局的奖励优化目标为固定时段内处于同一供电分区的所有列车的牵引-制动重叠时间最大化，所有智能体需要综合考虑各列车的运行状态、速度控制、停站时间等因素，将当前所掌握的运行阶段时间信息进行汇聚，以实现信息的全面整合，有效解决了多智能体间的信度分配问题。在分布式执行阶段，为每个智能体给定特定的可执行动作空间，避免连续的动作切换导致的动作空间庞大的问题。通过在Actor网络中引入多头注意力机制强化动作选择的可信度，并通过针对不同头数的对比筛选能够适用于所有智能体的Mam-Actor网络，有效解决了对于不独立、多维度动作的连续转化问题。针对亦庄线早高峰时段列车进行仿真实验，得出优化后的方案牵引-制动重叠时间提高39%，有效利用的再生制动能量为862.77 kW·h，为多列车协同利用再生制动能的运行方案提供了坚实的理论基础。当前基于多智能体强化学习的算法主要聚焦于能耗优化，但实际运营中，列车控制不仅要考虑能耗的最小化，还要兼顾运行时间、乘客舒适度、系统安全性等多个关键指标。因此，将多目标优化引入到强化学习框架中，使算法能够同时优化多个目标，将显著提升系统的整体效益。未来研究可以通过设计多目标奖励函数，使得智能体在学习过程中，能够平衡能耗与其他目标之间的冲突。

参考文献

[1] MAHDIYEH KHODAPARASTAN， MOHAMED AHMED A.， CONSTANTINE SPANOS. Regenerative Braking Energy in Electric Railway Systems[J]. Transportation Electrification：Breakthroughs in Electrified Vehicles，Aircraft，Rolling Stock，and Watercraft，2022：343-366.

[2] JIN B， FENG X Y， WANG Q Y，et al. Train Scheduling Method to Reduce Substation Energy Consumption and Peak Power of Metro Transit Systems[J]. Transportation Research Record：Journal of the Transportation Research Board，2021，2675(4)：201-212.

[3] SHAO J， XU Y， SUN L S，et al. Equity-Oriented Integrated Optimization of Train Timetable and Stop Plans for Suburban Railways System[J]. Computers & Industrial Engineering，2022，173：108721.

[4] SUN X B， YAO Z M， DONG C J，et al. Optimal Control Strategies for Metro Trains to Use the Regenerative Braking Energy：A Speed Profile Adjustment Approach[J]. IEEE Transactions on Intelligent Transportation Systems，2023，24(6)：5883-5894.

[5] ZHONG W F， LI T， YUAN Q Y，et al. Cooperative Optimal Train Operation Algorithm for Utilizing Regenerative Braking Energy[J]. Applied Mathematical Modelling，2024，127：172-192.

[6] XUN J， LIU T， NING B，et al. Using Approximate Dynamic Programming to Maximize Regenerative Energy Utilization for Metro[J]. IEEE Transactions on Intelligent Transportation Systems，2020，21(9)：3650-3662.

[7] YANG X， WU J J， SUN H J，et al. Performance Improvement of Energy Consumption，Passenger Time and Robustness in Metro Systems：A Multi-Objective Timetable Optimization Approach[J]. Computers & Industrial Engineering，2019，137：106076.

[8] LIU H J， ZHOU M C， GUO X W，et al. Timetable Optimization for Regenerative Energy Utilization in Subway Systems[J]. IEEE Transactions on Intelligent Transportation Systems，2019，20(9)：3247-3257.

[9] SU S， WANG X K， CAO Y，et al. An Energy-Efficient Train Operation Approach by Integrating the Metro Timetabling and Eco-Driving[J]. IEEE Transactions on Intelligent Transportation Systems，2020，21(10)：4252-4268.

[10] BAI Y， CAO Y W， YU Z，et al. Cooperative Control of Metro Trains to Minimize Net Energy Consumption[J]. IEEE Transactions on Intelligent Transportation Systems，2020，21(5)：2063-2077.

[11] NING J J， ZHOU Y H， LONG F C，et al. A Synergistic Energy-Efficient Planning Approach for Urban Rail Transit Operations[J]. Energy，2018，151：854-863.

[12] PAN Z Q， CHEN M W， LU S F，et al. Integrated Timetable Optimization for Minimum Total Energy Consumption of an AC Railway System[J]. IEEE Transactions on Vehicular Technology，2020，69(4)：3641-3653.

[13] 郑亚晶，李耀辉，李雨恒，等. 再生制动条件下地铁列车运行图的节能优化[J]. 华南理工大学学报(自然科学版)，2021，49(7)：1-7.

[14] ZHENG Yajing， LI Yaohui， LI Yuheng，et al. Energy Saving Optimization of Metro Train Working Diagram under Regenerative Braking[J]. Journal of South China University of Technology (Natural Science Edition)，2021，49(7)：1-7.

[15] XIE H Q， WANG C， LI S C，et al. Optimizing Energy Efficiency in Metro Systems under Uncertainty Disturbances Using Reinforcement Learning[EB/OL]. 2023：2304.13443.

[16] SHANG M Y， ZHOU Y H， MEI Y D，et al. Energy-Saving Train Operation Synergy Based on Multi-Agent Deep Reinforcement Learning on Spark Cloud[J]. IEEE Transactions on Vehicular Technology，2023，72(1)：214-226.

基金资助

国家自然科学基金重点项目(61833002)