基于元强化学习的列车智能驾驶快速适应优化研究

Rapid Adaptation Optimization of Intelligent Train Driving Based on Meta Reinforcement Learning

摘要

在强化学习优化列车驾驶速度曲线中，当面临复杂运行环境和多变运营需求时，存在难以快速生成优化的驾驶策略的问题。鉴于此，在强化学习基础上，与元学习相结合，综合考虑影响列车能耗的诸多因素，提出一种基于元强化学习的列车智能驾驶快速适应优化算法。该算法由内层学习器和元学习器2个部分组成，内层学习器采用强化学习PPO算法更新任务参数后把参数和损失函数输送到元学习器；元学习器利用这些信息更新任务参数，找到最优解，得到可以快速适应新任务且准确度高的元学习模型。仿真实验结果表明所提算法在新任务下学习效率优势显著，在满足舒适度、准时和停车精度的同时与传统的TRPO，PPO和MAML算法相比分别有效降低能耗6.14%，3.22%和1.40%，达到基准目标所需的迭代回合数仅分别为上述算法的28.57%，30.78%和52.29%，为元学习在列车智能驾驶领域研究的应用提供有效参考。

Abstract

In the optimization of train driving speed curves using reinforcement learning, challenges emerge in rapidly generating optimized driving strategies under complex operational environments and dynamic service demands. To address this issue, a rapid adaptation optimization algorithm for intelligent train driving based on meta reinforcement learning was proposed, integrating reinforcement learning with meta-learning while comprehensively considering train energy consumption and multiple factors. The algorithm consisted of two components: an inner-level learner and a meta-learner. The inner-level learner employed the reinforcement learning-based proximal policy optimization (PPO) algorithm to update task parameters and transmitted these parameters along with the loss function to the meta-learner. The meta-learner utilized this information to update task parameters, identify optimal solutions, and establish a high-accuracy meta-learning model with rapid new task adaptability. Simulation results demonstrate that the proposed algorithm exhibits significant learning efficiency advantages in new tasks. While ensuring comfort, punctuality, and parking accuracy, it reduces energy consumption by 6.14%, 3.22%, and 1.40% compared to traditional trust region policy optimization (TRPO), PPO, and model-agnostic meta-learning (MAML) algorithms, respectively. The required number of iterations to achieve benchmark objectives is only 28.57%, 30.78%, and 52.29% of those required by the aforementioned algorithms. This study provides valuable insights for meta-learning applications in intelligent train driving research.

Graphical abstract

关键词

元学习 / 强化学习 / 列车自动驾驶 / 调度时间调整 / 临时限速调整

Key words

Meta-Learning / Reinforcement Learning / Automatic Train Driving / Schedule Time Adjustment / Temporary Speed Limit Adjustment

0　引言

列车自动驾驶(ATO)系统可实现列车站间自动运行及到站精准停车。列车运行控制问题是一类包含多目标、非线性约束的优化问题，即列车处于良好的运行状态和更优的区间运行模式同时提高乘客舒适度、行车密度和准确率。国内外对于列车自动驾驶曲线多目标任务采取的方法有粒子群算法(PSO)^[1]、遗传算法^[2]、差分进化算法^[3]和深度学习方法^[4]等。

由于监督学习、强化学习等机器学习方法的发展，近年来机器学习智能优化方法在机器人、汽车和列车等领域的研究应用广泛。传统基于人工设计的控制器存在依赖经验、适用性不高的问题，列车研究中使用强化学习代替人为学习提升设计水平，在列车自动驾驶和节能优化等方面都表现出色。在列车曲线优化中，Lin等^[5]提出了一种列车智能驾驶(ITO)算法，适用于离线生成最优速度轨迹；Zhao等^[6]提出一种名为Shield的保护机制及其相应的Shield SARSA算法，通过与软约束的比较，验证了其在保护高速列车学习过程中，确保速度优化配置不破坏速度限制方面的有效性。在列车节能领域，宿帅等^[7]提出一种基于深度Q网络(DQN)的节能驾驶控制方法，通过优化轨道交通列车驾驶策略以应对运营间隔缩短和网络扩大带来的能耗增加。武晓春等^[8]则是使用深度确定性策略梯度算法(DDPG)学习最优策略，实现列车节能驾驶。此方法也用于列车轨迹优化中^[9]。此外，研究还有基于事件驱动的深度强化学习列车控制方法(DRTO)^[10]、深度强化学习与参考系统相结合的方法(DRL-RS)^[11]和专家经验与强化学习结合的列车智能驾驶方法(STO)^[12]。

上述研究聚焦于利用强化学习的多种算法和策略，以实现节能、提高准点率以及增强列车运行平稳性的性能优化。然而，在实际的列车自动驾驶运行中，列车将面临复杂运行环境和多变的运营需求。这要求列车不仅能够适应复杂的环境条件，还需根据不同的调度时间要求来调整在站内的运营时间。鉴于此背景，迫切需要能够快速生成优化驾驶策略以解决这些问题。然而，关于重新生成优化驾驶曲线所面临的问题，在现有文献中鲜少有系统的探讨。虽然周敏等^[13]针对不同限速条件下进行了曲线速度的优化研究，但每次生成新的驾驶曲线都需重新计算，导致速度缓慢，且未充分利用先前生成的驾驶策略。而颜罡等^[14]则通过应用元学习方法生成定速控制器，解决了列车的定速控制问题，但却未触及列车驾驶速度曲线学习的挑战。虽然有研究涉及列车智能驾驶，但很少关注其快速适应性问题。因此，迫切需要对列车在复杂运行环境和多变运营需求下，如何快速生成驾驶策略进行深入研究和探讨。

本研究在强化学习基础上，与元学习相结合，提出了一种基于元强化学习的列车智能驾驶快速适应优化新算法，该算法解决了条件变化下驾驶策略难以快速生成优化的问题，并确保了列车运行的高性能水平，主要研究工作概括如下。

（1）将强化学习PPO算法融入元学习算法的内环学习过程，从而设计出一种融合元学习与强化学习的元强化学习算法。

（2）使用元强化学习算法快速生成适应不同调度时间或临时调整等任务的驾驶速度曲线，以应对列车运行过程中不同的驾驶场景。

1　构建列车运行模型

1.1　列车动力学

在列车智能控制相关研究中，列车可以被视为一个单质点模型，在站点间运行的过程中受到不同的力^[8]。列车受力分析如图1所示。

图1中f\left(x\right)是牵引力，由列车牵引系统输出；b\left(x\right)是列车本身的制动力，由列车制动系统输出，两者不同时作用于列车。G(x)表示受到铁路轨道坡度影响而产生的额外坡度阻力，其中x表示在铁路轨道的位置。R(v\left(x\right))为基本阻力，v\left(x\right)为列车的运行速度。基于图1的分析，列车动力学模型可以表示为

\left\{\begin{array}{l}\frac{\mathrm{d}v}{\mathrm{d}x}=\frac{f\left(x\right)-b\left(x\right)-R\left(v\left(x\right)\right)-G\left(x\right)}{\left(\mathrm{1}+\tau \right)Mv\left(x\right)}\\ \frac{\mathrm{d}x}{\mathrm{d}t}=v\left(x\right)\end{array}\right.⑴

式中：M为列车质量；\tau为列车旋转质量因子，其值由列车总质量和转动部分的换算质量决定。

附加坡度阻力G\left(x\right)和基本阻力R\left(v\left(x\right)\right)分别由公式⑵—⑶计算得到。

G\left(x\right)=M\mathrm{g}\mathrm{s}\mathrm{i}\mathrm{n}\left(\theta \left(x\right)\right)⑵

R\left(v\left(x\right)\right)=r_{\mathrm{0}}+r_{\mathrm{1}}v\left(x\right)+r_{\mathrm{2}}{v}^{\mathrm{2}}\left(x\right)⑶

式中：g为重力加速度；\theta \left(x\right)是直线在位置x上的梯度；r_{\mathrm{0}}，r_{\mathrm{1}}，r_{\mathrm{2}}为基本阻力系数^[8]。

为保证列车运行安全，线路坡度严格限制在一定范围内，即坡度处于较小值，可做以下近似。

\mathrm{s}\mathrm{i}\mathrm{n}\left(\theta \left(x\right)\right)\approx \theta \left(x\right)⑷

因此，公式⑵也可由下式表示。

G\left(x\right)=M\mathrm{g}\theta \left(x\right)⑸

列车在运行途中任意位置速度v\left(x\right)大于0且在限速范围内，V\left(x\right)为最大速度。则列车速度约束为

\mathrm{0}\le v\left(x\right)\le V\left(x\right)⑹

在列车运行中，优化能耗利用也是当前研究中的一个重点。列车运行总能耗计算公式为

E={\int }_{x_{\mathrm{0}}}^{x_N}\frac{v\left(x\right)}{\eta }\mathrm{d}x⑺

式中：x_{\mathrm{0}}\mathrm{为列}\mathrm{车的}\mathrm{起点}；x_N为列车运行的终点。电能会转换为机械能，但列车实际输出功率受机械效率影响总会损失一部分能耗，本式中\eta即为电能与机械能的转换效率。

除了能耗之外，乘客舒适度C被定义为急动度随时间的负积分，作为另一个优化目标，计算公式为

C=-{\int }_{x_{\mathrm{0}}}^{x_N}\left|\frac{{\mathrm{d}}^{\mathrm{2}}v\left(x\right)}{\mathrm{d}{x}^{\mathrm{2}}}{v}^{\mathrm{2}}\left(x\right)+{\left(\frac{\mathrm{d}v\left(x\right)}{\mathrm{d}x}\right)}^{\mathrm{2}}v\left(x\right)\right|\mathrm{d}x⑻

列车的准时误差由下式表示。

T=\left|T_p-{\int }_{x_{\mathrm{0}}}^{x_N}\frac{\mathrm{d}x}{v\left(x\right)}\right|⑼

式中：T_p为计划调度时间；列车到站停站时，在指定位置停车，W表示列车的停车精度。

W=\left|x_i-x_N\right|\le \mathrm{0.3}⑽

式中：x_i为列车实际的停车位置，其中屏蔽门与车门之间的距离应小于0.3 m^[15]。

公式⑺—⑽被确定为待优化对象。除了考虑列车的动态特性，即公式⑴所描述的情况，还必须纳入其他关键约束，如行驶路程限制和速度限制。综合考虑这些因素，列车运行的多目标优化函数具体如公式⑾所示。

\begin{array}{l}\mathrm{m}\mathrm{i}\mathrm{n}Op\left(E,C,T,W\right)\\ v\left(x_{\mathrm{0}}\right)=v\left(x_N\right)=\mathrm{0}\\ x\in \left[x_{\mathrm{0}},x_N\right]\\ v\left(x\right)\in \left[\mathrm{0},V\left(x\right)\right]\end{array}⑾

式中：Op(·)表示优化函数，即满足最小化急动度、停车精度和准时误差的条件下最小化列车能耗值。

1.2　列车马尔可夫模型

在强化学习中，交互对象由2个核心组成：智能体和环境。智能体通过解析环境状态并依据所获反馈奖励进行自我学习，以此探索和执行能够最大化累积长期收益的策略。相对应地，环境负责对智能体采取的行为序列进行评估，并通过这种评估促使智能体进行自我调整。强化学习旨在最大化从环境中获取的奖励总和。在此框架下，ATO子系统充当智能体的角色，接收来自列车的运行状态信息、奖励以及状态价值函数，依据这些数据决策出最优的操作策略^[16]。ATO通过调节牵引系统输出，精准控制列车速度和位置，将在最优策略指导下选定的行为重新输入到列车运行的强化学习环境中。该过程的核心目标是通过持续的交互，使ATO子系统能够识别并实施最佳工况动作，从而生成最优的列车速度曲线，实现能耗最低与准时到达的目标。

在列车运行过程中，牵引和制动的输出共同控制列车的速度和位置变化，均是连续的变化量。因此，在构建列车强化学习架构中，定义动作空间为列车的加速度在区间[-1，1]内，智能体在x位置处采取的动作符合下式。

a\left(x\right)\in \left[-\mathrm{1,1}\right]⑿

如果a\left(x\right) > 0，列车处于牵引工况；如果a\left(x\right) < 0，列车处于制动工况；如果a\left(x\right) = 0，则列车处于惰行工况。

速度与位置是描述列车运动特征的2个要素。智能体每执行一次操作，列车的速度和位置相应地进行调整。因此，在本研究的列车运行强化学习框架中，状态空间被定义为时间、速度与位置的集合。x位置状态s\left(x\right)可用公式⒀表示。

s\left(x\right)=\left[t\left(x\right),v\left(x\right),x\right]\left\{\begin{array}{l}t\left(x\right)\in \left[\mathrm{0},T\left(x\right)\right]\\ v\left(x\right)\in \left[\mathrm{0},V\left(x\right)\right]\\ x\in \left[x_{\mathrm{0}},x_N\right]\end{array}\right.⒀

列车强化学习模型状态q_i\left(x_i,a\left(x_i\right)\right)可通过公式⑴—⑸转移为q_{i+\mathrm{1}}\left(x_{i+\mathrm{1}},a\left(x_{i+\mathrm{1}}\right)\right)。智能体执行动作以驱动列车时，环境会依据该动作给出相应的奖励。强化学习框架中的奖励系统由4个主要部分构成：节能、舒适度、准时和停车精度奖励，总奖励定义如下。

r=\frac{E_{thr}-E}{E_{thr}}+{\mu }_{\mathrm{1}}C+{\mu }_{\mathrm{2}}T+{\mu }_{\mathrm{3}}W⒁

式中：E，C，T和W分别由公式⑺—⑽计算得出；E_{thr}为能耗误差；{\mu }_{\mathrm{1}}是舒适度奖励的系数；{\mu }_{\mathrm{2}}是准时奖励的系数；{\mu }_{\mathrm{3}}是停车精度奖励的系数。列车实际运行中希望实现能耗最低的前提下，实现强化学习环境下累计奖励期望值的最大化。因此，{\mu }_{\mathrm{1}}，{\mu }_{\mathrm{2}}和{\mu }_{\mathrm{3}}都是正值。

2　列车智能驾驶控制的元强化学习

算法整体框架图如图2所示，在MLPPO算法的整体架构中，外层元学习器从任务信息中提取相关任务的参数初始值，将任务专属参数的初始值输送到内层学习器，内层学习器采用PPO算法将任务专属参数进行更新后，把训练好的任务专属参数和损失函数输送到外层元学习器；外层元学习器使用这些关键信息，优化元目标参数，更新任务专属参数的初始值。该过程的目标是确立一组普适且高效的参数，以适应跨多个任务的学习需求。

2.1　MLPPO算法思想

MAML不可知模型元学习算法^[17]是一种与模型结构无关的元学习方法。该算法首次于2017年提出，MAML的核心创新在于其不专注于为特定任务寻找最优的参数配置。MAML采取的策略是通过训练一系列相互关联的元任务，以确立一组初始参数。这组参数具有对新任务学习分布的高度敏感性，从而使得模型在面对新任务时，其内在特征能够迅速适应并实现跨任务的迁移。因此，仅需经过少量的迭代优化，即可获得针对新任务的最优模型参数。MAML梯度下降过程如图3所示。在图3中，\theta代表经MAML预训练得到的初始参数；L_{\mathrm{1}}，L_{\mathrm{2}}，L_{\mathrm{3}}则分别表示新任务的损失函数；\nabla符号代表梯度算子；{\theta }_{\mathrm{1}}^{\text{'}}，{\theta }_{\mathrm{2}}^{\text{'}}，{\theta }_{\mathrm{3}}^{\text{'}}表示面对新任务时的最优参数更新方向。

本研究通过在内层循环中融合近端策略优化算法(PPO)对MAML进行了优化，以提升算法的性能。MLPPO可看作一个由参数调整的神经网络，在适应新任务时使用参数进行微调。如图2所示，MLPPO分别由内层学习器和外层元学习器组成。内层学习器中，每个强化学习任务T_i包含一个初始状态分布q_i\left(x_i,a\left(x_i\right)\right)和一个转移分布q_{i+\mathrm{1}}\left(x_{i+\mathrm{1}},a\left(x_{i+\mathrm{1}}\right)\right)，损失函数L_{T_i}是奖励函数R_i的负数，任务T_i的模型f_{\theta }的损失为

L_{T_i}\left(f_{\theta }\right)=-E_{x_i,a\left(x_i\right)\sim f_{\theta },q{T}_i}\left[{\displaystyle \sum _{i=\mathrm{1}}^N}{R}_i\left(x_i,a\left(x_i\right)\right)\right]⒂

通过梯度下降计算适应参数。

{\theta }_i^{\mathrm{\text{'}}}=\theta -\alpha {\nabla }_{\theta }{L}_{T_i}\left(f_{\theta }\right)⒃

式中：\alpha是内层循环的学习率。外层元学习器整合i个任务的损失函数L_{T_i}\left(f_{{\theta }_i^{\text{'}}}\right)，并对原始模型参数\theta进行梯度更新。

\theta \leftarrow \theta -\beta {\nabla }_{\theta }{\sum }_{T_i\sim p\left(T\right)}{L}_{T_i}\left(f_{{\theta }_i^{\mathrm{\text{'}}}}\right)⒄

式中：\beta是外层循环的学习率。MLPPO优化元策略参数\theta，使得内层循环更新后训练任务的预期损失最小化。

MLPPO根据旧任务中学习到的经验，调整模型参数以适应新任务。在实际应用中，模型首先要求这些任务具有相似的特征，而后在一个梯度下降过程中通过多次微调改善模型。总体来说，MLPPO的主要思想是寻找一组好的神经网络参数，这个网络在训练阶段未必对所有任务都表现最好，但可以通过快速微调的方式，迅速适应新的、之前没有见过的任务。

2.2　内层学习器设计

内层学习器负责接收由外层元学习器提供的任务参数初始化值，并以此为基础进行自适应学习。通过不断迭代更新，内层学习器能够优化任务参数，并将其与验证集损失函数一同反馈至外层元学习器，以便外层元学习器进一步调整任务参数的初始值，从而实现快速适应新任务的目标。更新参数时，研究未使用文献[17]MAML中普遍的信任区域策略优化算法(TRPO)，而是通过PPO算法进一步提高学习策略的高效性和准确性^[18]。

PPO算法是一种深度强化学习方法，适用于连续动作空间。为了增强算法的稳定性，PPO引入了一项约束条件，该条件计算新策略与旧策略之间的相对占比，以限制策略更新的幅度。这一约束确保了新策略在更新过程中不会偏离过远，避免了剧烈的策略波动。通过调整占比参数，可以更精细地控制策略更新的幅度，使其更加可控。这种优化方法使得PPO在实际应用中更具可调性和可靠性。将PPO算法与准时或节能模块结合起来进行内层循环优化，PPO算法建立在Actor-Critic结构基础上，其中PPO的参数化Actor可以强制执行具有修剪目标的信任区域，因此具有良好的计算效率和学习稳定性。

PPO的截断代理损失函数结合了策略代理和价值函数误差项^[18]，定义为

L^{CLIP+VF+S}\left(\theta \right)={\widehat{E}}_t\left[L^{CLIP}\left(\theta \right)-c_{\mathrm{1}}{L}^{VF}\left(\theta \right)+c_{\mathrm{2}}S\left[{\mathrm{\pi }}_{\theta }\right]\left(s_t\right)\right]⒅

式中：L^{CLIP}为裁剪的代理目标；L^{VF}为价值函数{\left(V_{\theta }\left(S_t\right)-V_t^{targ}\right)}^{\mathrm{2}}的平方误差损失；S表示熵损失；c_{\mathrm{1}}，c_{\mathrm{2}}为系数。

裁剪的代理目标由下式表示。

L^{CLIP}\left(\theta \right)={\widehat{E}}_t\left[\mathrm{m}\mathrm{i}\mathrm{n}\left(r_t\left(\theta \right){\widehat{A}}_t,clip\left(r_t\left(\theta \right),\mathrm{1}-\epsilon ,\mathrm{1}+\epsilon \right){\widehat{A}}_t\right)\right]⒆

式中：\epsilon为截断超参数；r_t\left(\theta \right)表示概率比，r_t\left(\theta \right)={\mathrm{\pi }}_{\theta }\left(a_t\left|s_t\right.\right)∕{\mathrm{\pi }}_{{\theta }_{old}}\left(a_t\left|s_t\right.\right)，{\mathrm{\pi }}_{\theta }\left(a_t\left|s_t\right.\right)表示当前策略在t时刻智能体处于状态s所采取的行为概率，{\mathrm{\pi }}_{{\theta }_{old}}\left(a_t\left|s_t\right.\right)表示之前策略所采取的行为概率。因此，概率比r_t\left(\theta \right)被限制为1-\epsilon或1+\epsilon，具体取决于优势是正还是负，乘以优势函数的估计量{Â}_t后形成裁剪目标。L^{CLIP}的最终值取该裁剪目标和未裁剪目标r_t\left(\theta \right){Â}_t的最小值。

2.3　外层元学习器设计

在外层循环中，元学习器汇聚来自各个任务的神经网络参数，并对其进行梯度下降更新，旨在寻找到适用于所有任务的通用参数集，从而提升模型的整体性能和适应性。通过在任务分布上执行微调操作并结合梯度下降算法，以学习并提取任务的先验参数。这些先验参数能够赋予列车行驶曲线模型更强的泛化能力，使其能够有效应对新的运行场景。在本研究中，元优化的过程通过以下目标进行更新。

\underset{\theta }{\mathrm{m}\mathrm{i}\mathrm{n}}\sum _{T_i~p\left(T\right)}{L}_{T_i}\left(f_{{\theta }_i^{\mathrm{\text{'}}}}\right)=\sum _{T_i~p\left(T\right)}{L}_{T_i}\left(f_{\theta -\alpha {\nabla }_{\theta }}{L}_{T_i}\left(f_{\theta }\right)\right)⒇

式中：T_i~p\left(T\right)表示从任务分布p(T)中抽取的训练任务。元目标函数是所有任务上验证集损失函数值的求和，然后找到参数初始值\theta使得元目标函数最小化，即所有任务上损失函数的求和最小化。通过优化元目标函数计算出来的参数初始值，可使任务上的损失函数最小化，更加接近任务中内层学习器里的参数最优值。只需要少量迭代更新轮次，可获得更好的参数估计值，使得内层学习器在任务上达到更高的精度。MLPPO算法训练过程如表1所示。

3　仿真实验

本研究选取北京地铁亦庄线旧宫站至亦庄桥站的区间作为仿真实验场景，该区间全长1 982 m，设定最大限速为80 km/h，进出站限速为54 km/h。实验共分为3个部分。首先，为了探究状态转移步长对算法学习效率和策略泛化能力的影响，设置不同的状态转移步长进行对比实验；其次，为了模拟实际运行场景中常见的调度时间调整，设置新任务-调度时间改变进行4种算法的对比实验；最后，为了进一步评估算法在面对突发情况临时限速调整的适应性，设置新任务-限速改变进行4种算法的对比实验。

3.1　仿真参数设置

算例中坡度数据如表2所示，列车牵引制动特性参数如表3所示。

3.2　MLPPO算法迭代步长对比

在列车运行环境下，若步长设定过大，会导致工况切换点过少，从而使探索空间变得粗糙，限制了策略的优化。相反，若步长过小，将导致探索空间指数级增长，使训练过程变得复杂且困难。在这种情况下，模型可能会陷入局部最优解，难以实现全局优化，从而影响最终策略的优势和泛化能力。因此，在设计列车运行控制策略时，必须谨慎选择和调整步长，以平衡探索的广度和深度，从而在复杂的运行环境中获得更为鲁棒和优化的决策方案。为此，本研究在调度时间为130 s的条件下，分别对MLPPO算法设置了25 m，50 m和100 m 3种不同的状态转移步长，并对其性能进行了对比分析。MLPPO主要参数如表4所示。

不同迭代步长下列车速度曲线对比图如图4所示，可以观察到在探索阶段中，不同的状态转移步长产生不同效果。25 m步长展示出更为细致的探索，这是因为在相同的站间距离下，短步长提供了更广阔的探索范围。相反地，100 m步长过快完成探索，导致曲线波动明显，动作幅度大，舒适度降低。当步长设定为50 m时，模型呈现出最佳的收敛效果，曲线平滑，舒适度高。

不同迭代步长下的奖励曲线对比如图5所示。在初始阶段，采用步长为25 m的方法由于步幅较小，导致状态空间显著扩大，从而引发了稀疏奖励问题，进而导致了梯度过小的情况。然而，尽管步长较小，却具备更高的操作精度，在训练后期表现出色。相比之下，采用步长为100 m的整体探索则显得不够精细，其收敛速度较慢且奖励值较低。在相同的训练量下，选择50 m步长的策略在初始阶段能够实现有效的探索。然而，随着训练的进行，由于50 m步长的探索空间相对于25 m步长的较小，因此在后期奖励值不如采用25 m步长的奖励值高。在实验设计阶段，应依据特定需求确定适宜的步长。针对本次实验，旨在显著展现元强化学习的快速适应性，因而选定了50 m作为步长。

3.3　调度时间变化下MLPPO算法与基线算法性能对比

为验证提出的MLPPO算法有效性，将MLPPO算法与训练后的TRPO，PPO和MAML算法进行对比分析，评估算法在新任务中的学习能力。设置120 s，130 s，140 s 3种不同的调度时间，分别让元强化MLPPO算法与基线算法在环境分布中随机采集任务进行训练，训练后再重新设置一个新的调度时间135 s分别用元强化MLPPO算法与基线算法训练所得的策略进行测试，调度时间改变下奖励值对比如图6所示。

观察图6可知，所提出的MLPPO算法在奖励值及收敛速度两大指标上显著优于传统的TRPO，PPO以及MAML算法。在追求最优解过程中，MLPPO算法初期的奖励值不仅高于其他3种算法，而且后续奖励值显示出稳定增长趋势，并在训练的后期维持平稳状态。MLPPO算法的奖励增长速度较快，约在3 500个回合之后，奖励值达到稳定状态。与此相反，TRPO和PPO算法的奖励增长速度在5 000回合后显得缓慢，且最终的收敛奖励值相对较低；而MAML算法虽然其奖励值的增长速度相对于TRPO和PPO算法来说较快，但其最终奖励值亦不及MLPPO算法。这一对比显示，其他3种算法在适应新环境的能力上不如MLPPO算法，表现出较弱的泛化能力。MLPPO算法通过训练得到的网络参数，仅需少量更新即可快速适应新任务，展现出更高的效率。

在新的调度时间135 s下，调度时间改变下不同算法性能指标对比如表5所示，4种算法的准时误差均在3 s之内，符合准点运行的标准；停车误差均在0.3 m之内，达到了停车精度的要求。MLPPO算法经调优后，在提升乘坐舒适度方面表现最为突出，这一结果凸显了基于元强化学习框架模型的卓越性能。在能耗方面，MLPPO算法能耗仅16.19 kW·h，相较于其他3种算法最小，与TRPO算法相比，降低了约6.14%的能耗。这意味着MLPPO算法不仅能够确保列车运行时的舒适性和准时性，还能在不牺牲这些关键性能指标的前提下，实现能源的有效节约，满足元强化学习方法对快速性和准确性的双重要求。

MLPPO算法在不同调度时间下的曲线对比如图7所示。鉴于两个调度时间相差仅5 s，两条速度曲线之间的区别并不显著。在两种调度方案中，列车均在起始阶段以较高的加速度快速增速，直到速度接近限制值。随后，在整个行驶过程中，通过调节不同级别的牵引力或采取惰行策略，轮替实施，以尽可能减少途中的制动操作，直至行进接近终点站前开始减速并执行制动最终停靠。此过程贯彻了通过减少行驶中的制动动作以节能的驾驶策略。在整个运行过程中，MLPPO算法的驾驶策略使列车速度始终保持在安全的限速范围内，同时保证了列车能够安全、准时地到达预定目的地。

3.4　限速改变下MLPPO算法与基线算法性能对比

采用MLPPO算法与训练后的TRPO，PPO，MAML 3种算法在2种限速情况下随机抽取任务进行训练，对比在适应新任务-限速改变下MLPPO算法的优越性。本研究设置了2种限速场景。①场景一。在1 000 m至1 300 m 区间内新增一段速度限制为70 km/h的限速区域，而其他区间的限速保持不变。②场景二。在1 100 m至1 400 m区间内新增一段速度限制为60 km/h的限速区域，其余区间的限速保持不变。随后，本研究进一步设定了一个新的测试任务，即在1 000 m至1 300 m区间内新增一段速度限制为60 km/h的限速区域，而其他区间的限速保持不变。限速改变下奖励值对比图如图8所示。

根据图8显示，在限速条件下，MLPPO算法的奖励增长速度显著超过其他3种算法。大约进行了6 000次迭代后，MLPPO算法已经达到了一个收敛状态，并且在随后的迭代中表现出更高的稳定性。这显示了MLPPO算法在面对新任务时的明显优势：它能够利用元学习阶段获得的初始网络参数作为起点，在快速微调过程中有效地适应新的学习任务。相反，TRPO算法开始时奖励上升速度缓慢，最终的收敛值最小；PPO算法在开始时奖励上升迅速，但在收敛后奖励值较低；而MAML算法的初始上升速度不及PPO算法，但在后期奖励值稳定后高于PPO算法，但仍不及MLPPO算法。这表明其他3种算法在新任务上的泛化能力较差，无法很好地适应新任务。MLPPO算法显著提高了学习效率，在应对变化的环境和任务时具有更强的适应性和高效的学习能力。

限速条件改变下不同算法性能指标对比如表6所示。MLPPO算法相对于标准调度时间延误了0.92 s，而其他3种算法的延误分别为1.97 s，1.56 s，1.43 s。这些延误在限速改变下均可被认为是正常现象。停车误差均控制在0.3 m以内，满足停车误差精度的要求。由于限速要求导致挡位切换，舒适性稍有下降，然而MLPPO算法在舒适性方面表现优于其他3种算法。对4种算法的能耗值进行对比发现，在特殊天气条件下，牵引制动切换的增加导致能耗略有增加，然而在限速情况下，MLPPO算法的模型仍表现出优越性能，相较于TRPO算法节约了6.64%的能量。这一结果符合元强化学习方法对快速性和准确性的要求。

MLPPO算法在临时限速任务下的曲线如图9所示，限速曲线进一步验证了MLPPO在新场景下展现的卓越适应性。观察发现，在进入限速区段前，列车转换至制动模式，确保速度维持在60 km/h以下。为了确保列车按时到达，接下来采用牵引模式加速，最终通过惰行模式持续前进直至终点。总结而言，MLPPO的设计优化赋予其面对新挑战时的灵活适应能力，彰显了其在多变环境中的应用价值。

4　结论

针对城轨列车运行速度曲线优化问题，本研究提出了一种基于强化学习的元学习MLPPO算法进行求解，通过仿真实验验证及分析，得到以下结论。

（1）在与TRPO，PPO和MAML等算法的比较中，研究提出的采用元学习策略的MLPPO算法在训练后展现了明显的优势，不仅在收敛速度上表现出色，而且在收敛后呈现出趋势平稳的特点。相较于其他强化学习算法，MLPPO算法实现了更高的奖励值，表明其列车控车策略更为优越。

（2）在适应性方面，限速或调度时间改变情况下，元强化学习算法性能均表现出色，能够适应准时性和节能性的要求，实现列车在复杂运行环境和多变运营需求中的稳健运行。这突显了元强化学习算法在应对列车运行中各种挑战和变化中的适应性，为实际应用提供了可靠的支持。

综上，元强化学习解决了列车运行在调度时间或临时限速变动下的难以快速适应与优化问题，实现了最优运行策略的学习。

参考文献

[1] 徐 凯，杨飞凤，涂永超，等.基于多粒子群协同的城轨列车速度曲线多目标优化[J].铁道学报，2021，43(2)：95-102.

[2] XU Kai， YANG Feifeng， TU Yongchao，et al. Multi-objective Optimization of Speed Profile of Urban Rail Train Based on Multiple Particle Swarms Co-Evolutionary[J]. Journal of the China Railway Society，2021，43(2)：95-102.

[3] SONG Y， SONG W. A Novel Dual Speed-Curve Optimization Based Approach for Energy-saving Operation of High Speed Trains[J]. IEEE Transactions on Intelligent Transportation Systems，2016，17(6)：1564-1575.

[4] LIU J， CAI B， XU G，et al. Energy Consumption Modeling and Optimization of Traction Control for High Speed Railway Trains[J]. International Journal of Control and Automation，2015，8(10)：109-124.

[5] 朱海楠. 基于智能算法的列车驾驶策略优化若干关键问题研究[D]. 北京：北京交通大学，2020.

[6] LIN X， LIANG Z， SHEN L， et al. Reinforcement Learning Method for The Multi-Objective Speed Trajectory Optimization of a Freight Train[J]. Control Engineering Practice，2023，138：105605.

[7] ZHAO Z， XUN J， WEN X，et al. Safe Reinforcement Learning for Single Train Trajectory Optimization Via Shield SARSA[J]. IEEE Transactions on Intelligent Transportation Systems，2022，24(1)：412-428.

[8] 宿 帅，朱擎阳，魏庆来，等.基于DQN的列车节能驾驶控制方法[J].智能科学与技术学报，2020，2(4)：372-384.

[9] SU Shuai， ZHU Qingyang， WEI Qinglai，et al.A DQN-Based Approach for Energy-Efficient Train Driving Control[J].Journal of Intelligent Science and Technology，2020，2(4)：372-384.

[10] 武晓春，金则灵.基于DDPG算法的列车节能控制策略研究[J].铁道科学与工程学报，2023，20(2)：483-493.

[11] WU Xiaochun， JIN Zeling. Research on Train Energy Saving Control Strategy Based on DDPG Algorithm[J]. Journal of Railway Science and Engineering，2023，20(2) ：483-493.

[12] NING L， ZHOU M， HOU Z，et al. Deep Deterministic Policy Gradient for High Speed Train Trajectory Optimization[J]. IEEE Transactions on Intelligent Transportation Systems，2021，23(8)：11562-11574.

[13] ZHANG L， ZHOU M， LI Z. An Intelligent Train Operation Method Based on Event-driven Deep Reinforcement Learning[J]. IEEE Transactions on Industrial Informatics，2021，18(10)：6973-6980.

[14] SHANG M， ZHOU Y， FUJITA H. Deep Reinforcement Learning with Reference System to Handle Constraints for Energy-efficient Train Control[J]. Information Sciences，2021，570：708-721.

[15] ZHOU K， SONG S， XUE A，et al. Smart Train Operation Algorithms Based on Expert Knowledge and Reinforcement Learning[J]. IEEE Transactions on Systems，Man，and Cybernetics：Systems，2020，52(2)：716-727.

[16] 周 敏，董海荣，周学影，等.临时限速下基于强化学习的高速列车速度曲线优化[J].铁道学报，2023，45(2)：84-92.

[17] ZHOU Min， DONG Hairong， ZHOU Xueying，et al. Reinforcement Learning-Based Optimization of Speed Profile for High Speed Train with Temporary Speed Restriction[J]. Journal of the China Railway Society，2023，45(2)：84-92.

[18] 颜 罡，赵斐然，叶 锋，等.基于元强化学习的自动列车定速控制[J].控制理论与应用，2022，39(10)：1807-1814.

[19] YAN Gang， ZHAO Feiran， YE Feng，et al. Meta-reinforcement Learning Based Velocity Regulation for Automatic Train Operation[J]. Control Theory and Applications，2022，39(10)：1807-1814.

[20] 胥如迅，马军惠，孟建军，等.考虑节能的城轨列车协同控制优化模型[J].控制理论与应用，2025，42(1)：13-21.

[21] XU Ruxun， MA Junhui， MENG Jianjun，et al. Optimization Model for Coodinated Control of Urban Rail Trains Considering Energy Saving[J]. Control Theory and Applications，2025，42(1)：13-21.

[22] 徐 宁，何之煜，李 辉，等.基于强化学习的货物列车长大下坡区段运行控制优化算法[J].铁道运输与经济，2023，45(8)：36-42.

[23] XU Ning， HE Zhiyu， LI Hui，et al.Optimization Method Based on Reinforcement Learning for Operation and Control of Freight Train in Long Steep Downhill Scenarios[J].Railway Transport and Economy，2023，45(8)：36-42.

[24] FINN C， ABBEEL P， LEVINE S. Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks[C]// 34th International Conference on Machine Learning. Sydney：PMLR，2017：1856-1868.

[25] 范文天，曾勇程，郭一唯，等.基于强化学习的高铁列车运行图编制模型优化方法研究[J].铁道运输与经济，2025，47(1)：70-81.

[26] FAN Wentian， ZENG Yongcheng， GUO Yiwei，et al.Optimization Method of Train Working Diagram Compilation Model of High Speed Railways Based on Reinforcement Learning[J].Railway Transport and Economy，2025，47(1)：70-81.

基金资助

重庆市自然科学基金项目(CSTB2024NSCQ-MSX0275)