基于两阶段多智能体强化学习的列车速度曲线及运行图顺序优化模型

Sequential Optimization Model for Train Speed Curve and Train Working Diagram Based on Two-Stage Multi-Agent Reinforcement Learning

摘要

降低列车运行能耗对于实现轨道交通绿色低碳发展、提高铁路运营收益有着重要意义。本研究从列车速度曲线与运行图2个层面入手，综合考虑列车运行中的限速、时间、舒适度等约束条件，分别采用DQN单智能体和A2C多智能体强化学习对列车的运行速度曲线和列车整体运行图进行优化，构建相应的仿真运行环境，建立两阶段的能耗优化模型。最后以武广高速铁路部分线路为例，其结果表明该模型可以使原本的列车运行能耗降低16%以上，同时满足安全与准点运行要求。针对不同的线路与运行情况该模型依然适用，可以为列车运行能耗优化提供一定的参考。

Abstract

Reducing the train operation energy consumption is significant for achieving low-carbon and green rail transit development and improving the railway operation revenue. This study started with the train speed curve and the train working diagram and comprehensively considered the constraints such as speed limits, travel time, and passenger comfort during train operation. It optimized the train speed curve and train working diagram via deep Q-network (DQN) single-agent and advantage actor-critic (A2C) multi-agent reinforcement learning, respectively, constructed corresponding simulation operation environments, and established a two-stage energy consumption optimization model. A section of the Wuhan-Guangzhou High Speed Railway was taken as the research case, and the results show that the proposed model can reduce the train operation energy consumption by more than 16% while satisfying the safe and on-time operation requirements. The model is applicable to different lines and operation conditions and provides certain reference for the train operation energy consumption optimization.

Graphical abstract

关键词

高速铁路 / 强化学习 / 速度曲线 / 列车运行图 / 节能优化 / 两阶段优化

Key words

High Speed Railway / Reinforcement Learning / Speed Curve / Train Working Diagram / Energy-Saving Optimization / Two-Stage Optimization

0　引言

随着我国铁路网络扩张与列车运营规模扩大，铁路能耗过大的问题日益显现。在轨道交通运输系统中，列车能源消耗主要来自于机车或动车组进行的牵引任务。截至2024年，我国铁路能源消耗折算标准煤1 801.2万t，同比增长2.8%^[1]。减少运输过程中的能源消耗不仅符合保护环境、绿色发展的理念，有利于实现“双碳”目标，还能减轻企业的运营成本压力^[2]。

列车运行时刻表是组织列车在网络和线路中运行的文件，它规定了列车的运行速度、到发时刻等参数；优化列车运行图中列车的能耗是减少铁路系统能耗的重要措施之一^[3]。列车运行图能耗优化问题主要是针对既有运行图，通过调节列车的运行速度，在考虑安全运行、停站方案与乘客满意度等基础情况下，优化列车的运行工况(驾驶策略)，最终减少运行能耗。

当前的节能优化方法主要沿着2个相对独立的方向展开，一是调整列车的运行工况，通过优化区间速度曲线(即微调列车到发时刻)以减少牵引能耗；二是提高列车再生制动能耗的利用率，通过调整运行图、改变列车制动时刻使运行过程中产生的再生能被充分利用^[4]。针对列车运行速度曲线和列车运行图的优化都存在一定的深入研究空间，速度曲线针对单列车细分工况，运行图基于多列车整体调控，忽略了彼此之间的协同互补。

前者常基于列车动力学模型，考虑限速、再生制动、分相区等因素，采用启发式智能算法优化速度曲线^[5-6]。例如，张可心^[7]从列车目标速度曲线优化和速度跟踪控制两大方面对列车优化运行策略展开研究。陈昱^[8]建立了列车多质点模型，采用遗传算法在列车运行过程中实现坡道速度与惰行工况双重节能优化。侯涛等^[9]提出了一种基于改进PID搜索算法的列车节能优化方法，分析临时限速和运行时间调整情况下的列车节能优化。朱成琨^[10]、黄子凌等^[11]分别采用DQN、SAC算法求解列车新的节能运行速度曲线。

后者主要关注列车在路网上的时空关系，提升运行图能效。例如，革新^[12]针对高速铁路分别提出了与区间运行时分分配、再生制动能利用、动车组运用计划协同优化3种模型。马阳阳^[13]针对列车晚点情况，建立了路网条件下的列车运行调整与节能控制协同优化模型，通过列车工况改变期间运行能耗。李荣喆等^[14]以同一供电分区内各列车牵引与制动工况的重叠时间最大化为目标建立模型对运行图能耗进行优化。赵思哲^[15]研究了单列车节能优化方法，并考虑列车再生制动能量设计了高速铁路多列车递阶节能优化方法。

当前以上2方面的研究较为割裂：在优化列车速度曲线时固定区间运行时间，忽略了可以调整的区间时间，或是在优化运行图时采用简化模型(例如假设能耗与区间运行时间线性相关)，不能准确反映操作策略对能耗的影响，导致能耗优化存在一定的限制。将速度曲线优化和运行图调整相结合，组成顺序优化过程，将运行图与精确动力学模型结合，实现铁路线路上能耗的进一步降低。一方面，列车区间规定的运行时间是计算运行能耗的基础，由于线路坡度等条件存在，采用精确动力学模型计算的能耗更为准确。另一方面，节能曲线生成的能耗可以反过来指导运行图调整区间运行时间，采用区间能耗更低的运行方案。

因此，构建一种两阶段优化模型，在给定区间运行时间的条件下，基于列车动力学模型优化区间运行速度曲线，建立列车在不同区间的节能速度曲线备选集合。再将生成的速度曲线备选集作为输入，在满足所有车次总运行时间不变的前提下，以系统总能耗最低为目标，优化所有车次在运行图中的到发时间。通过两阶段优化实现运行图宏观时间资源与列车微观操纵策略的整体最优，为后续编制节能运行图提供一定的参考。

1　问题描述

单列车在区间平直道上运行时，研究人员根据其能耗特性，提出了四阶段运行策略，该策略指出，列车在理想道路上运行时，运行策略应该包含牵引、巡航、惰行、制动4个阶段，求解列车最优速度曲线的关键在于寻找列车工况的切换时机。该运行方案可以在一定程度上保障运行效率，但由于未考虑线路坡度等因素，当线路坡道较多时，其固定的运行策略限制了能耗进一步优化。多列列车常通过调整列车运行时刻的方法，延长列车运行时间降低速度需求或是重叠不同列车的加速、减速时刻以利用再生能，最终达到降低能耗的目的。在调整运行时刻时需避免列车冲突，并保证准点与乘客舒适度，不能随意延长运行时间。

为了进一步降低列车在区间的能耗，将列车的运行区间按照需求分为若干个更小的区间，列车在每个小区间可以选择当前区间的运行工况，直至终点。列车在区间的运行方案以里程-速度曲线进行表示，该曲线直接显示了列车运行到某一位置时的运行速度，根据同一区间的不同运行时间，可以求解出对应的速度运行曲线与运行能耗，构成备选集，列车运行速度曲线图如图1所示。

基于速度运行曲线备选集，对列车运行图进行微调。模型的核心约束之一为列车总运行时间，即运行图中所有班次列车从起点至终点全程的区间运行时间总和。在不改变列车停站方案与运行图中所有车次运行时间之和的情况下，基于列车安全约束、区间运行时间约束、车站停站时间约束、时间连续约束等重新分配每列车在每个区间的运行时间，通过调整部分车次在车站的出发、到达时间，实现降低列车在区间的运行能耗的目的。

因此，此处的优化问题可以总结为：以总运行能耗最低为目标，满足列车与列车之间、列车运行的约束条件，考虑所有运行车次的总运行时间，优化不同列车在不同车站的进站、出站时间，确定能耗优化情况下的列车运行时刻表。

研究采用单智能体强化学习优化列车速度曲线，多智能体强化学习优化列车时刻表，将速度曲线的优化能耗作为时刻表调整的基本数据，以时刻表调整的时间作为规定时间优化列车的运行工况。

2　列车时刻表优化模型

本研究模型主要由2个部分组成：优化单列车运行能耗的运行速度曲线优化模型和优化多列车运行过程的时刻表优化模型，其模型结构如图2所示。速度曲线优化模型求解出不同时间与区间下的列车运行速度曲线及运行能耗，构成备选集；运行图优化模型修改列车的运行时间，根据前者所求的速度曲线备选集计算运行图的整体能耗，最终求解出能耗优化后的时刻表。

2.1　列车动力学模型

列车在区间运行主要受到自身牵引制动力、基本阻力以及附加阻力影响。本研究将列车进行单质点化，不考虑车厢之间的相互作用力，求解列车在区间的纵向运行速度曲线，得到符合节能要求的里程-速度曲线^[16-18]。

列车的牵引力与制动力由列车机车主动提供，通常可由列车的牵引制动特性曲线获得。本研究所采用的列车型号为CRH3型高速列车，其牵引力、制动力与运行速度关系函数表现如下^[3]。

(1)

(2)

式中：v为列车运行速度，km/h；F_q为列车牵引力，kN；F_b为列车制动力，kN。

列车运行阻力是列车在运行过程中阻碍列车前行的外力，一般分为基本阻力与附加阻力。

列车运行基本阻力是列车在平直轨道运行时所受的各种阻力之和，其涉及因素众多且情况复杂，一般采用经验公式进行计算。

W_{\mathrm{0}}=a+bV+c{V}^{\mathrm{2}}(3)

式中：a，b，c为经验常数。

附加阻力主要与运行时的线路状态相关，通常包含隧道阻力、坡道阻力以及曲线阻力等。

列车的隧道阻力由在隧道中运行的车头与车尾的压力差产生，计算公式为

W_t=\mathrm{1.3}\times {\mathrm{10}}^{-\mathrm{4}}lm\mathrm{g}(4)

式中：l为隧道长度，m；m为列车质量，t；\mathrm{g}为重力加速度。

当列车运行至坡道时，其重力会分解成垂直于坡道与平行于坡道的两个方向的力，垂直力与钢轨的支持力大小相同，但是平行力将会影响列车的运行。坡道阻力主要与列车自身的重力以及坡道的坡度相关，计算公式为

W_i=m\mathrm{g}\mathrm{s}\mathrm{i}\mathrm{n}(i)\approx m\mathrm{g}i(5)

式中：i为线路坡度。

列车在弯道上行驶时，由于离心力的作用会使列车的运行摩擦力变大，因此在弯道上行驶会产生更大的运行阻力，计算公式为

W_r=\frac{\mathrm{600}m\mathrm{g}}{R}(6)

式中：R为曲线半径，m。

列车的附加阻力为

W_f=W_{\mathrm{0}}+W_t+W_i+W_r(7)

总体受力为

F=u_{f}F(v)-u_{b}B(v)-W_f(8)

\frac{\mathrm{d}v}{\mathrm{d}x}=\frac{u_{f}F(v)-u_{b}B(v)-W_f}{(\mathrm{1}+\rho )vm}(9)

式中：\rho为列车回转质量系数；u_f和u_b分别为列车的牵引、制动级位。

2.2　基于DQN的单列车速度曲线优化模型

Q学习是一种经典的基于值函数的强化学习算法，DQN在Q学习的基础上，采用神经网络去拟合状态转移时产生的Q值。DQN算法采用了Q值网络和目标网络2个网络，分别负责迭代更新和稳定保持、训练速度提高，同时还设计了经验回放机制^[19-21]。

列车运行速度曲线优化模型是在规定运行时间内，通过在每个工况转换点选择不同的运行工况，从而改变列车运行速度曲线，最终减少列车的牵引输出以达到列车运行能耗优化的模型^[22-25]。

（1）状态及状态转移。设列车的初始状态为s_{\mathrm{0}}(x_{\mathrm{0}}，v_{\mathrm{0}}，t_{\mathrm{0}})，当智能体选择了动作时，状态进行改变。整个运行区间根据需要按照状态转移步长\mathrm{\Delta }x进行分割，当进入下一个状态时，总里程增加相应距离。

x_{i+\mathrm{1}}=x_i+\mathrm{\Delta }x(10)

式中：x_i为列车当前所处里程，km；\mathrm{\Delta }x为区间离散间隔，km。

列车的运行速度按照仿真运行步长计算，变化满足下式。

v_{i+\mathrm{1}}={\int }_{x_i}^{x_{i+\mathrm{1}}}\sqrt[]{v_i^{\mathrm{2}}+\mathrm{2}a\mathrm{d}x}(11)

式中：a为列车加速度。

列车的运行时间变化满足

t_{i+\mathrm{1}}=t_i+{\int }_{x_i}^{x_{i+\mathrm{1}}}\frac{\mathrm{d}x}{v}(12)

式中：t_i为列车当前阶段运行时间，s。

在区间运行时，列车应该满足区间各类约束。

列车的运行里程应满足公式(13)。

\mathrm{0}\le x_i\le x_l(13)

式中：x_l为终点里程，km。

列车在区间的运行速度满足区间限速条件。

\mathrm{0}\le v_i\le v_{\mathrm{l}\mathrm{i}\mathrm{m}\mathrm{i}\mathrm{t}}^j(14)

式中：v_{\mathrm{l}\mathrm{i}\mathrm{m}\mathrm{i}\mathrm{t}}^j为区间j限速，km/h。

列车从起点运行至终点时，区间运行时间应满足规定时间。

\mathrm{0}\le t_i\le t_{\mathrm{l}\mathrm{i}\mathrm{m}\mathrm{i}\mathrm{t}}(15)

式中：t_{\mathrm{l}\mathrm{i}\mathrm{m}\mathrm{i}\mathrm{t}}为区间规定运行时间，s。

（2）动作及动作屏蔽。该模型的智能体动作集合基于列车的最大牵引与制动输出，主要分为惰行、最大牵引、最大制动、部分牵引、部分制动5种工况，组成列车的离散动作集合，智能体在每个阶段选择动作与环境进行互动，环境接受动作后返回被改变的列车状态。

为了提高模型求解的速度，在模型环境中添加动作屏蔽，屏蔽特定状态下列车的不合理动作，提高模型取得可行解的速度，加速收敛。

为了保证乘客乘车时的舒适度，列车的加速度变化必须保持在一定的范围之内。

△a\le k(16)

式中：k为舒适度系数。

列车当前的运行时刻与列车从当前位置到达终点的最短时间之和，应该满足预计的时间限制。

t_i+t_{i,\mathrm{e}\mathrm{n}\mathrm{d}}^{\mathrm{m}\mathrm{i}\mathrm{n}}\le t_{\mathrm{l}\mathrm{i}\mathrm{m}\mathrm{i}\mathrm{t}}(17)

式中：t_{i,\mathrm{e}\mathrm{n}\mathrm{d}}^{\mathrm{m}\mathrm{i}\mathrm{n}}为列车从当前阶段运行至终点的最短所需时间，s。

当列车抵达终点时，列车应当稳当停车，且停车位置应该有一定的误差容量。表现为

v_{\mathrm{e}\mathrm{n}\mathrm{d}}=\mathrm{0}(18)

x_{\mathrm{e}\mathrm{n}\mathrm{d}}=x_l\pm \xi(19)

式中：v_{\mathrm{e}\mathrm{n}\mathrm{d}}为列车终点速度，km/h；x_{\mathrm{e}\mathrm{n}\mathrm{d}}为列车终点运行里程，km。

（3）奖励函数。环境的奖励函数主要包含时间限制奖励和能耗奖励两种。时间奖励鼓励列车准点到达，能耗奖励尽可能使能耗更低，如公式(20)、公式(21)所示。

R_t=t_{\mathrm{p}\mathrm{l}\mathrm{a}\mathrm{n}}-t_{\mathrm{e}\mathrm{n}\mathrm{d}}(20)

R_{\mathrm{e}}=a-b\int f(x)\mathrm{d}x(21)

式中：t_{\mathrm{p}\mathrm{l}\mathrm{a}\mathrm{n}}为列车预计运行时间，s；t_{\mathrm{e}\mathrm{n}\mathrm{d}}为列车实际抵达终点运行时间，s。

为了促使智能体向下一个阶段转移，需要在智能体成功转移时对其奖励一个较小的固定值。在一轮训练结束，智能体抵达最后阶段时，给予一个极大值作为完成训练的奖励；在训练中由于违反约束、无可选择动作等情况导致提前中断一轮训练时，给予一个极大的负值作为训练出错的惩罚。

R_{\mathrm{0}}=r+R_{\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{a}\mathrm{l}}+R_{\mathrm{t}\mathrm{r}\mathrm{u}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}}(22)

式中：R_{\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{a}\mathrm{l}}为终止奖励；R_{\mathrm{t}\mathrm{r}\mathrm{u}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}}为中断奖励。

在能耗与时间奖励前添加参数确保智能体不会过于追求某一项指标而忽略另一项指标。最终的奖励计算方式为

R={\omega }_{\mathrm{1}}\cdot R_t+{\omega }_{\mathrm{2}}\cdot R_{\mathrm{e}}+R_{\mathrm{0}}(23)

式中：{\omega }_{\mathrm{1}}，{\omega }_{\mathrm{2}}分别为时间参数、能耗参数。

最后，根据所得到的动作状态值函数，采用ε-greedy策略选取列车运行过程中的运行工况，形成列车在该区间的速度-距离曲线，求得该曲线下的列车运行能耗。

模型运行流程如图3所示。

将线路按照车站划分成若干区间，对于每个区间设定列车行驶的时间范围，以1 min为间隔，求得每个区间不同时间的运行速度曲线，组成速度曲线备选集。

2.3　A2C多智能体列车运行时刻表优化模型

AC算法是一种基于策略梯度和价值函数的强化学习算法。该算法结合了2种网络，一个Actor网络用于产生动作，另一个Critic网络用于评判动作、估计状态值函数，指导Actor改进策略。

列车运行时刻表优化模型是基于强化学习的优化模型，该模型通过调整既有线路上的列车运行时刻，改变列车在任意车站的发车、到达时间，来做到对时刻表运行时刻的调整，对列车进行规定时间的能耗优化^[26-30]。由于线路不同位置的坡度、曲线半径不同，即使相同的运行时间其列车所消耗的能耗也会不同，该模型主要调整列车在区间的运行时刻，减少部分车次的运行时间，将其分配给降低能耗更多的运行区间，即使部分列车能耗增加，也能确保在所有车次总运行时间不变的情况下，降低总运行能耗^[31]。模型的训练智能体采用了多智能体的形式，将每班次列车的运行数据匹配一个智能体，构建一个Agent Environment Circle(AEC)结构的多智能体交互环境。多智能体优化模型拥有复数智能体，这些智能体能够独自选择动作并与环境交互，每个智能体拥有不同的状态和奖励值。

（1）状态及状态转移。该模型环境导入了运行图的基础运行时间数据与区间的车站线路数据，记录了所有列车在不同阶段的发车、到达时间，反映列车的运行情况。将以上所有列车的到发阶段按照顺序设定为环境的不同步骤阶段。

设单个列车的初始状态为s_{\mathrm{0}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}=(t_{\mathrm{0}},o_{\mathrm{0}})，其中，t表示列车在当前状态的修改时间，o表示运行方向。那么与环境交互的列车状态集合、动作集合、列车的时刻集合即为

\begin{array}{l}{s}_{\mathrm{0}}=\left\{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}{\mathrm{n}}_{\mathrm{0}}：(t_{\mathrm{0}}^{\mathrm{0}},o_{\mathrm{0}}^{\mathrm{0}}),\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}{\mathrm{n}}_{\mathrm{1}}：(t_{\mathrm{0}}^{\mathrm{1}},o_{\mathrm{0}}^{\mathrm{1}}),\dots \right\}\\ \mathrm{a}\mathrm{c}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}\mathrm{s}=\left\{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}{\mathrm{n}}_{\mathrm{0}}:\mathrm{a}\mathrm{c}\mathrm{t}\mathrm{i}\mathrm{o}{\mathrm{n}}_{\mathrm{0}},\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}{\mathrm{n}}_{\mathrm{1}}:\mathrm{a}\mathrm{c}\mathrm{t}\mathrm{i}\mathrm{o}{\mathrm{n}}_{\mathrm{1}},\dots \right\}\\ \mathrm{s}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}\mathrm{e}=\left\{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}{\mathrm{n}}_{\mathrm{0}}：(\mathrm{t}\mathrm{i}\mathrm{m}{\mathrm{e}}_i^{\mathrm{0}},\mathrm{t}\mathrm{i}\mathrm{m}{\mathrm{e}}_{i+\mathrm{1}}^{\mathrm{0}},\dots ),\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}\mathrm{1}：(\mathrm{t}\mathrm{i}\mathrm{m}{\mathrm{e}}_i^{\mathrm{1}},\mathrm{t}\mathrm{i}\mathrm{m}{\mathrm{e}}_{i+\mathrm{1}}^{\mathrm{1}},\dots ),\dots \right\}\end{array}

列车的运行方向在抵达终点前保持不变，每个智能体在当前阶段s选择需要执行的动作a，即改变时间∆t，修改列车的运行时刻。

t_{i+\mathrm{1}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}=t_i^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}+△t(24)

式中：t_i^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}为列车当前运行时刻，min。

所有的智能体动作采用集合的方式与环境进行互动，环境以相同的方式返回各智能体的状态，即

\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}_{i+\mathrm{1}}=\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}_i+s_i(25)

（2）动作及动作屏蔽。模型的动作集合为时间调整数值，针对每班次列车的出发与到达时间进行提前或者延后调整，其出发-到达时间间隔构成列车的区间运行时间，到达-出发时间构成停站时间。每个阶段，智能体从离散动作集合中选择一个时间用于修改当前的时间节点，列车j在当前阶段s的时间节点为t_s^j，所选动作为a_s，改变后的时间即为t_s^j+a_s。

针对每个智能体，预设动作屏蔽掩码，在此基础上，智能体选择动作更新状态，并影响下一个智能体。

列车的站间运行时间应满足连续性约束。

(26)

t_x^d\le t_{x+\mathrm{1}}^f(27)

式中：t_x^f为列车在x车站的出发时间，min；t_x^d为列车在x车站的到达时间，min；x表示任意车站。

当列车时间进行调整时，该列车后续所有车站的出发、到达时间进行同样幅度的平移调整。

\forall y>x,t_y^{\mathrm{\text{'}}}=t_y+△t(28)

式中：x，y表示任意车站；t{}_y^{\mathrm{\text{'}}}表示调整后的时间。

任意一列列车应该满足区间运行时间约束与规定的停站时间约束。

t_{\mathrm{m}\mathrm{i}\mathrm{n}}\le t_{\mathrm{r}\mathrm{u}\mathrm{n}}\le t_{\mathrm{m}\mathrm{a}\mathrm{x}}(29)

t_{\mathrm{m}\mathrm{i}\mathrm{n}}\le t_{\mathrm{d}\mathrm{w}\mathrm{e}\mathrm{l}\mathrm{l}}\le t_{\mathrm{m}\mathrm{a}\mathrm{x}}(30)

式中：t_{\mathrm{r}\mathrm{u}\mathrm{n}}为列车区间运行时间，min；t_{\mathrm{d}\mathrm{w}\mathrm{e}\mathrm{l}\mathrm{l}}为列车车站停站时间，min。

同方向任意相邻列车应该满足追踪到达时间间隔^[32]。

t_j^d-t_k^d\ge I_d(31)

同方向任意相邻列车应该满足追踪出发时间间隔。

t_j^f-t_k^f\ge I_f(32)

上述公式中，j与k分别表示不同列车；f与d分别表示出发与到达时间；I表示追踪时间间隔。

任意车站同一时间内所停留的列车不应超过车站的最大容量。

n_x\le n_x^{\mathrm{l}\mathrm{i}\mathrm{m}\mathrm{i}\mathrm{t}}(33)

式中：n_x^{\mathrm{l}\mathrm{i}\mathrm{m}\mathrm{i}\mathrm{t}}为该车站的最大可容纳列车数。

运行图中共计n列列车，m个运行区间，图中所有车次的区间运行时间之和应该保持不变。

{\displaystyle \sum _{p=\mathrm{1}}^m}{\displaystyle \sum _{j=\mathrm{1}}^n}{t}_{j,p}^{\mathrm{r}\mathrm{u}\mathrm{n}}={\displaystyle \sum _{p=\mathrm{1}}^m}{\displaystyle \sum _{j=\mathrm{1}}^n}{t}_{j,p}^{\mathrm{r}\mathrm{u}\mathrm{n}\mathrm{\text{'}}}(34)

式中：t_{j,p}^{\mathrm{r}\mathrm{u}\mathrm{n}}表示j次列车在区间p的运行时间；t_{j,p}^{\mathrm{r}\mathrm{u}\mathrm{n}\mathrm{\text{'}}}为调整过后的运行时间。

AEC环境运行逻辑及模型运行流程如图4所示。智能体与环境互动后，返回当前智能体的调整时间与运行方向，更新列车运行时刻表数据，同时更新动作掩码，由下一个智能体与环境交互，AEC环境具体流程如图4a所示。当所有的智能体完成了当前步骤的交互之后，返回相应的奖励值。

（3）奖励函数。模型的奖励函数主要以能耗为目标，同时考虑运行时间、停站时间、运行图基本时间间隔等约束，调节运行图中的列车运行时间。在不改变列车原本的停站方案的情况下，首先调整列车的区间运行时间，根据列车的起点、终点与运行时间，从速度曲线备选集中选取相应的运行曲线，获得该区间的运行能耗，所有停站区间组成总区间的运行能耗。模型运行流程如图4b所示。

3　实例

以武广高速铁路(武汉—广州南)为例，对某一时间段的列车运行图进行优化，确保运行过程中无运行时间冲突。所选择区间为广州南站至乐昌东站，共计6个车站，时间段为6：00—11：00，共计开行29列列车。

设广州南站作为起始车站，里程为0，其余各车站里程分布如表1所示。

首先对途经车站进行总停站方案求解，任意两个车站组成一种列车停站方案，共计15种停站方案。针对每一种停站方案，给出预计的运行时间范围，通过速度曲线优化模型求解不同运行时间要求下该停站方案的速度曲线。不同停站方案规定运行时间如表2所示。

用于强化学习仿真训练基本参数如表3所示。

基于以上设定，编写列车运行仿真环境，搭建DQN强化学习框架，求解不同停站方案下指定运行时间的列车运行速度曲线。首先确定列车的运行区间里程与规定运行时间，将列车的运行区间从起点至终点按照0.1 km分为若干状态转移区间，0.01 km作为仿真运行步长，基于速度、时间等约束，使智能体从0开始按照状态转移区间向前运行，每个新的区间选择当前区间的运行工况，直到抵达终点，经过训练后输出符合要求的节能速度曲线。以广州南站至广州北站为例，列车运行距离为47 km，4种不同时间的列车运行速度曲线如图5所示，图中蓝线表示运行速度曲线，红线表示区间限速。

对其他不同里程的停站方案同样求解出各时间运行速度曲线，计算运行能耗，共同构成能耗备选集用于后续列车时刻表优化。不同时间的区间运行能耗如图6所示。

将所有列车的运行时间与能耗数据进行存储。

编写多智能体交互环境，设置与开行列车数量相同的智能体匹配列车运行数据，单个智能体只负责改变其绑定列车的到发时间。环境动作设置为离散的时间变量，智能体所选动作会直接改变当前列车所处阶段的时间。从起始车站开始，将每个车站的出发和到达时间设置为一个阶段，列车从起始车站的出发时间开始向前模拟，经历出发、到达、出发等阶段变化，在每个区间选择一个动作改变当前区间的出发或到达时间。在每一个阶段，按照顺序让智能体选择该阶段执行的动作，遇到冲突通过动作裁剪消除冲突，每个智能体都做完选择后，更新状态与动作掩码向下一个阶段推进。抵达终点后，对当前结果进行奖罚，输出符合要求的运行图。

采用传统四阶段运行模式对列车能耗进行优化，总体能耗约为39 374 kW•h。两阶段优化先对列车运行区间的速度曲线进行优化，得到节能曲线后再调整列车区间运行时间，经过训练后输出运行时间不变的新运行时刻，求解运行图如图7所示，该运行图运行能耗共计32 760.29 kW•h。相比于传统四阶段运行模式其消耗能耗更低，有16%以上的优化，能耗优化如表4所示。模型奖励值如图8所示。列车优化时刻表如表5所示。各列车能耗变化如图9所示。

相较于传统启发式算法，强化学习由于动作屏蔽的设置求解速度较快，同时保持了良好的优化效果，算法在曲线优化方面有着近13%的能耗优化，针对宏观的运行图优化可以将能耗降低5%左右。采用粒子群算法优化列车运行能耗时，同样对速度曲线与运行图进行优化，相较于强化学习，其曲线求解时间稍长，优化效果略低，只有运行图能耗优化差距较小。两种算法在求解运行图的时间上都花费较长，总体上对原本四阶段运行模式有16%以上的能耗缩减，方法对比如表6所示。

4　结论

研究主要从运行图角度进行列车能耗优化研究，从2个方面展开，一是通过优化区段列车的运行速度曲线，减少单个列车运行能耗；二是通过运行图的整体调控，调整列车运行时间，进一步优化列车运行图总运行能耗。模型使用DQN求解速度曲线，A2C求解运行图，在未改变列车原有次序与停站方案的基础上，使列车运行总能耗最小，并求得能耗优化过后的新列车运行图；结果表明，相比于当前运行图，优化后运行图能耗平均可节约16%。针对不同情况的线路，该模型仍可适用且无需进行过多修改，通过录入线路数据与列车数据，对模型进行重新训练，能够在短时间内求得符合要求的节能运行图。

该研究仍有较大的提升空间。首先，列车动力学模型采用了单质点模型，未来研究可以采用多质点模型进行研究，能够更准确地描述出列车在运行过程中的受力情况，更精确地求出运行能耗；其次，本研究暂未考虑列车的再生制动，作为列车运行过程中的另一节能手段，如果能够同时考虑速度曲线与再生制动，可进一步提高列车运行效率。最后，模型假设所有列车按计划正常运行，实际场景可能遇到特殊情况导致当前求解计划无法完整执行，需要进行适当调整，因此针对干扰场景和特殊情况的研究仍有必要。

参考文献

[1] 国家铁路局. 2024年铁道统计公报[Z]. 北京：国家铁路局，2025.

[2] 刘　杰，彭其渊，殷　勇. 低碳背景下的多式联运路径规划[J]. 交通运输系统工程与信息，2018，18(6)：243-249.

[3] LIU Jie， PENG Qiyuan， YIN Yong. Multimodal Transportation Route Planning under Low Carbon Emissions Background[J]. Journal of Transportation Systems Engineering and Information Technology，2018，18(6)：243-249.

[4] 李志远. 面向高速列车的节能优化研究[D]. 南昌：华东交通大学，2023.

[5] 高珅盈泽，张玉召，冀　璇. 高速列车运行图节能优化研究现状及展望[J]. 铁道运输与经济，2024，46(8)：24-36.

[6] GAO Shenyingze， ZHANG Yuzhao， JI Xuan. Research Status and Prospects of Energy-Saving Optimization for High Speed Train Working Diagrams[J]. Railway Transport and Economy，2024，46(8)：24-36.

[7] 田志强，刘　磊，孙国锋，等. 铁路长大坡道线路考虑维修天窗设置的列车运行图优化[J]. 交通运输系统工程与信息，2025，25(3)：288-298.

[8] TIAN Zhiqiang， LIU Lei， SUN Guofeng，et al. Optimization of Train Operation Diagram Considering Maintenance Windows on Railway Lines with Long and Steep Gradients[J]. Journal of Transportation Systems Engineering and Information Technology，2025，25(3)：288-298.

[9] 盛　昭. 考虑电分相的高速列车节能优化方法研究[D]. 北京：北京交通大学，2022.

[10] 张可心. 基于节能规划的高速列车优化运行策略研究[D]. 北京：北京交通大学，2023.

[11] 陈　昱. 基于双重优化的高速列车节能运行研究[D]. 兰州：兰州交通大学，2021.

[12] 侯　涛，兰小斌. 基于改进PID搜索算法的列车节能运行优化研究[J]. 重庆交通大学学报(自然科学版)，2025，44(5)：112-120.

[13] HOU Tao， LAN Xiaobin. Energy-Saving Operation Optimization of Train Operation Based on Improved PID Search Algorithm[J]. Journal of Chongqing Jiaotong University (Natural Science)，2025，44(5)：112-120.

[14] 朱成琨. 基于网-车-线耦合的高速列车节能运行优化研究[D]. 兰州：兰州交通大学，2024.

[15] 黄子凌，石红国. 基于深度强化学习的高速列车运行节能在线优化[J]. 铁道标准设计，2026，70(5)：10-19，34.

[16] HUANG Ziling， SHI Hongguo. Energy-Saving Online Optimization of High Speed Train Operation Based on Deep Reinforcement Learning[J]. Railway Standard Design，2026，70(5)：10-19，34.

[17] 革　新. 考虑节能的高速列车运行图优化研究[D]. 兰州：兰州交通大学，2023.

[18] 马阳阳. 路网条件下高速铁路列车运行调整与节能控制协同优化[D]. 兰州：兰州交通大学，2022.

[19] 李荣喆，马睿杰. 基于再生制动的朔黄铁路节能运行图优化方法[J]. 科技与创新，2025(1)：198-201.

[20] 赵思哲. 高速列车递阶节能牵引优化运行驾驶策略研究[D]. 长沙：中南大学，2023.

[21] 周学影. 基于强化学习的高速列车目标速度曲线与运行时分协同优化[D]. 北京：北京交通大学，2021.

[22] 孟祥麟. 基于Q学习和深度Q学习的列车自动驾驶节能运行控制[D]. 北京：北京交通大学，2021.

[23] SANDIDZADEH M ALI， HAVAEI P. A Comprehensive Study on Reinforcement Learning Application for Train Speed Profile Optimization[J]. Multimedia Tools and Applications，2023，82(24)：37351-37386.

[24] 陈昂扬，范家铭，徐辉章，等. 基于强化学习的铁路列车运行图编制与优化研究综述[J]. 铁道运输与经济，2025，47(11)：36-51.

[25] CHEN Angyang， FAN Jiaming， XU Huizhang，et al. Review on Reinforcement Learning-Based Railway Train Working Diagram and Optimization[J]. Railway Transport and Economy，2025，47(11)：36-51.

[26] 韩忻辰，俞胜平，袁志明，等. 基于Q-Learning的高速铁路列车动态调度方法[J]. 控制理论与应用，2021，38(10)：1511-1521.

[27] HAN Xinchen， YU Shengping， YUAN Zhiming，et al. High Speed Railway Dynamic Scheduling Based on Q-Learning Method[J]. Control Theory & Applications，2021，38(10)：1511-1521.

[28] 朱擎阳. 基于强化学习的城轨列车节能驾驶控制方法[D]. 北京：北京交通大学，2022.

[29] 黄　畅，姜辰宇，邢昕铨. 基于强化学习的列车驾驶曲线节能优化算法[J]. 数字通信世界，2022(1)：19-21.

[30] HUANG Chang， JIANG Chenyu， XING Xinquan. An Energy-Efficient Train Control Approach Based on Deep Q-Network Methodology[J]. Digital Communication World，2022(1)：19-21.

[31] 朱宇清，白宝雪，陈鸿辉，等. 基于神经网络的货运列车速度曲线实时规划算法[J]. 控制与信息技术，2019(3)：7-12.

[32] ZHU Yuqing， BAI Baoxue， CHEN Honghui，et al. A Real-Time Speed Profile Planning Algorithm for Freight Trains Based on Neural Network[J]. Control and Information Technology，2019(3)：7-12.

[33] 张　淼. 基于强化学习的列车自动驾驶方法研究[D]. 北京：中国铁道科学研究院，2020.

[34] 张　淼，张　琦，张梓轩. 基于Q学习算法的高速铁路列车节能优化研究[J]. 铁道运输与经济，2019，41(12)：111-117.

[35] ZHANG Miao， ZHANG Qi， ZHANG Zixuan. A Study on Energy-Saving Optimization for High Speed Railways Train Based on Q-Learning Algorithm[J]. Railway Transport and Economy，2019，41(12)：111-117.

[36] 王荣笙，张　琦，张　涛，等. 基于蒙特卡罗树搜索-强化学习的列车运行智能调整方法[J]. 中国铁道科学，2022，43(5)：146-156.

[37] WANG Rongsheng， ZHANG Qi， ZHANG Tao，et al. Intelligent Adjustment Approach for Train Operation Based on Monte Carlo Tree Search-Reinforcement Learning[J]. China Railway Science，2022，43(5)：146-156.

[38] 杜心怡，邵长虹. 基于强化学习的高速铁路列车运行调整方法研究[J]. 铁道技术标准(中英文)，2024，6(6)：35-43.

[39] DU Xinyi， SHAO Changhong. Research on High Speed Railway Timetable Rescheduling Based on Reinforcement Learning[J]. Railway Technical Standard (Chinese & English)，2024，6(6)：35-43.

[40] DONG H R， NING L B， ZHOU M，et al. Deep Reinforcement Learning for Integration of Train Trajectory Optimization and Timetable Rescheduling under Disturbances[J]. IEEE Transactions on Neural Networks and Learning Systems，2025，36(8)：14009-14021.

[41] 周靖哲. 基于深度强化学习的高速铁路列车运行图优化方法研究[D]. 北京：北京交通大学，2023.

[42] REYNOLDS E， MAHER S J. A Data-Driven，Variable-Speed Model for the Train Timetable Rescheduling Problem[J]. Computers & Operations Research，2022，142：105719.

[43] LI W Q， NI S Q. Train Timetabling with the General Learning Environment and Multi-Agent Deep Reinforcement Learning[J]. Transportation Research Part B：Methodological，2022，157：230-251.

[44] 吕苗苗. 新旧交替列车运行图编制优化理论与方法研究[D]. 成都：西南交通大学，2013.

基金资助

国家重点研发计划项目(2022YFB4300502)

国家自然科学基金项目(72301221)