面向新型列控系统的高速列车智能驾驶策略优化方法

Intelligent Driving Strategy Optimization Method for High Speed Trains with New Train Control System

摘要

新型列控系统具备移动闭塞功能，可进一步提升高速铁路的运输效率。针对现有C2/C3+ATO技术无法直接应用在移动闭塞条件下的列车追踪运行场景中，展开面向新型列控系统的高速列车智能驾驶策略优化研究。在强化学习框架下将该问题转化为马尔科夫决策问题，设计列车追踪运行的状态集、动作集及奖励函数，考虑列车追踪运行的静态与动态约束，基于列车动力学模型搭建多列车追踪运行环境，构建基于深度Q网络的列车智能驾驶策略优化方法。设计3个仿真案例，对所提方法的有效性进行验证。仿真结果表明，与遗传算法相比深度Q网络算法可以快速得到追踪列车的驾驶策略曲线，后车可在准点的前提下实现节能和安全追踪运行，为高速列车智能驾驶策略优化研究提供参考。

Abstract

The new train control system has the function of moving blocks, which can further improve the transportation efficiency of high speed railways. The existing C2/C3 + ATO technology cannot be directly applied to the train tracking operation scenario under the moving block condition. To address this issue, the research on the optimization of intelligent driving strategy for high speed trains oriented to the new train control system was carried out. Under the reinforcement learning framework, the problem was transformed into a Markov decision problem. The state set, action set, and reward function of the train tracking operation were designed, and the static and dynamic constraints of the train tracking operation were taken into account. A multi-train tracking operation environment was constructed based on the train dynamics model, and a deep Q-network-based intelligent train driving strategy optimization method was developed. Three simulation cases were designed to verify the effectiveness of the proposed method. The simulation results show that the deep Q-network algorithm can quickly obtain the driving strategy curve of the tracking train compared with the genetic algorithm, and the following train can realize energy-saving and safe tracking operation under the premise of punctuality. The research can provide a reference for the optimization of intelligent driving strategies for high speed trains.

Graphical abstract

关键词

新型列控系统 / 列车智能驾驶 / 移动闭塞 / 深度Q网络 / 强化学习

Key words

New Train Control System / Intelligent Train Driving / Moving Block / Deep Q-Network / Reinforcement Learning

0　引言

我国C2/C3级列控系统采用固定闭塞和准移动闭塞方式行车，列车追踪间隔冗余较大，依赖大量的轨道电路，使运输效率难以得到进一步提升，且地面设备数量庞大、结构复杂，导致工程投资大和维护成本高。因此，减少轨旁设备以降低建设与维护成本、采用移动闭塞以提高运输效率是未来高速铁路列控系统的发展方向^[1]。2018年，中国国家铁路集团有限公司(以下简称“国铁集团”)组织铁路信号系统研发单位开展新型列控系统关键技术研究，并取得良好的试验结果。新型列控系统具备移动闭塞功能，列车追踪运行时后车的移动授权终点可延伸至前车安全包络末端，提升行车组织灵活性与运输效率^[2]。

随着我国高速铁路网络规模和覆盖范围日益扩大，复杂的运行环境对列车司机的驾驶操纵构成极大挑战，对列控系统增加智能驾驶功能提出强烈需求。一方面，司机需从驾驶台各个人机界面单元(DMI)中盯控多方面信息，为列车驾驶操纵带来繁重的压力^[3]；另一方面，移动闭塞条件下列车之间运行状态具有强耦合性，对列车驾驶策略实时优化提出迫切需求。我国现有运用列车自动驾驶系统(ATO)的高速铁路线路较短，运行场景相对简单，现有技术无法直接应用在移动闭塞条件下列车追踪运行的运营场景中^[4]。因此，需要研究面向新型列控系统的列车智能驾驶方法以突破这一瓶颈。

作为列车安全高效运行的关键技术之一，列车驾驶策略优化一直是铁路领域国内外学者关注的热点前沿问题。Howlett等^[5-6]推导和证明了区间内列车驾驶最优策略应遵循最大牵引、巡航、惰行和最大制动的工况序列或其子序列。Zhao等^[7]研究固定闭塞条件下单列车驾驶策略优化问题，以减少能耗与延误时间为目标建立列车运行优化模型，分别采用暴力搜索、蚁群和遗传算法(GA)对模型进行求解并对比分析算法性能。Wang等^[8]在列车运行基本约束的基础上考虑行车信号约束，将列车驾驶策略优化转化为多阶段优化控制问题，采用伪谱法进行求解，并设计准点与延误2种场景对所提方法进行验证。杨杰等^[9]以优秀司机驾驶经验作为启发式规则，以列车惰行点位置和巡航速度为决策变量，提出一种改进GA提高了对列车目标速度曲线优化问题的求解速度。以上研究侧重于离线场景下的列车驾驶策略优化，求解方法计算时间较长。当列车运行过程中需要调整驾驶策略的情况下，上述研究方法不再适用。

近年来，随着深度学习、强化学习等机器学习方法的发展，人工智能方法也被应用到列车驾驶策略优化研究中。张淼等^[10]设计一种基于Q学习算法的高速列车运行能耗优化方法，并采用实际线路数据进行仿真验证，结果表明所提方法可有效减少列车运行能耗。周敏等^[11]研究临时限速条件下的单列车目标速度曲线优化问题，根据不同运行阶段调整工况策略，并采用双深度Q网络算法来快速优化生成不同场景下的目标速度曲线。Ning等^[12]针对列车运行过程中遭遇突发事件导致区间运行时间不确定的问题，提出一种基于深度确定性策略梯度的列车曲线优化算法，该方法可在不同场景对应的运行时间下为列车快速提供一条优化的目标速度曲线。Liu等^[13]研究重载列车在长大下坡的驾驶控制优化问题，并提出基于深度Q网络的重载列车驾驶策略优化方法。Song等^[14]提出一种列车自主运行控制系统架构，应用数据预测和基于边缘的信息融合对真实动态数据进行处理，并在数据融合的辅助下探讨模型预测和基于数据的智能控制方法。Tasiu等^[15]结合深度学习和机器学习等智能控制方法，探讨在高速列车牵引控制和优化技术领域应用的未来趋势。Cao等^[16]采用混合人工势场的方法，建立自适应广义模型预测控制器，以保证虚拟编组列车的运行安全。由此可见，以深度学习、强化学习为代表的人工智能技术在列车驾驶策略优化问题中表现出很好的实用性和优越性。然而，上述研究主要解决单列车驾驶策略优化问题，较少考虑移动闭塞条件下高速列车追踪驾驶策略实时优化问题。

在追踪运行条件下，列车的运行状态不仅受到列车自身特性与线路条件的限制，还受到前行列车运行状态的影响。新型列控系统采用移动闭塞行车时，可将后方列车的移动授权终点延伸至前行列车安全包络的后端^[17]，即后车的目标停车点是随着前车的运行而不断地向前移动，相较于C3级列控系统进一步缩短了追踪间隔。综上所述，本研究创新点在于：①针对新型列控系统具备移动闭塞的特点，建立追踪运行条件下高速列车驾驶策略优化模型；②在强化学习框架下提出基于深度Q网络的列车智能驾驶策略优化方法，实现移动闭塞条件下追踪运行高速列车驾驶策略的实时智能优化。

1　列车驾驶策略模型

1.1　列车动力学模型

列车驾驶策略优化更侧重于列车整体运动状态及变化趋势的研究，因此将运行的列车视为刚体并进行受力分析，并依据牛顿第二定律，建立列车动力学模型如下。

\frac{\mathrm{d}v}{\mathrm{d}t}=\frac{u_a{F}_a(v)-u_b{F}_b(v)-R_{\mathrm{0}}(v)-R_a(x)}{(\mathrm{1}+\rho )M}⑴

\frac{\mathrm{d}x}{\mathrm{d}t}=v⑵

式中：v为列车运行速度，km/h；t为列车运行时间，s；x为列车运行距离，m；M为列车质量，kg；\rho为回转质量系数；F_a(v)和F_b(v)分别为列车牵引力和制动力，N，是关于速度的分段函数；u_a和u_b分别为牵引力与制动力的指示因子，取值为\left\{\mathrm{0}，\mathrm{1}\right\}，牵引力与制动力不能同时施加在列车上，因此u_a和u_b还需满足u_a+u_b\le \mathrm{1}；R_{\mathrm{0}}(v)为列车基本运行阻力，N，包括摩擦阻力与空气阻力；R_a(x)为线路附加阻力，N，包括坡道附加阻力、曲线附加阻力和隧道附加阻力。

为了方便计算，将列车运行线路根据坡度和限速信息变化等分成N个子区间，使得子区间内坡度和限速值保持不变。子区间i长度为\mathrm{\Delta }x，i=\mathrm{1}，\mathrm{2}，\cdots ，N，则列车在每个子区间内运行可视为做匀加速运动，其速度递推公式如下。

v_i=\sqrt[]{v_{i-\mathrm{1}}^{\mathrm{2}}+\mathrm{2}a\mathrm{\Delta }x}⑶

式中：v_i和v_{i-\mathrm{1}}分别为列车离开子区间i，i- 1时的速度，km/h；a为列车运行加速度，m/s²，可由列车牵引计算及动力学模型得出。

列车运行时间迭代公式由下式给出。

t_i=\frac{\mathrm{2}\mathrm{\Delta }x}{v_i+v_{i-\mathrm{1}}}⑷

式中：t_i为列车在子区间i的运行时间，s，列车总运行时间可视为列车在子区间运行时间的累加。

1.2　列车运行约束

追踪运行条件下的列车运行约束可分为静态约束和动态约束。静态约束是指列车运行过程中变量的上下界固定不变的约束。例如，列车在线路条件、牵引制动特性等客观条件的限制下生成的站间最短运行时间驾驶策略曲线，该曲线下的阴影区域限定了列车运行速度的可行解范围。动态约束是指两列列车之间的追踪运行约束，在新型列控系统中，当前列车目标追踪点为前行列车包络后端，安全制动曲线随着前行列车运行状态的变化而不断更新。

列车运行静态约束包括列车速度与位置约束及冲击率约束，可由下式表示。

\left\{\begin{array}{c}\mathrm{0}\le v_i\le {\tilde{V}}_i\\ \mathrm{0}\le x_i\le X\\ v_{\mathrm{0}}=v_N=\mathrm{0}\\ x_i=i\cdot \mathrm{\Delta }x\\ \begin{array}{l}X=N\cdot \mathrm{\Delta }x\\ \frac{\mathrm{d}v}{\mathrm{d}{t}^{\mathrm{2}}}\le \mathrm{\Delta }{a}_{\mathrm{m}\mathrm{a}\mathrm{x}}\end{array}\end{array}\right.⑸

式中：{\tilde{V}}_i为列车在子区间i内的最大限速，km/h，可由站间最短运行时间驾驶策略曲线得到；X为线路长度，m，即列车运行终点；v_{\mathrm{0}}和v_N分别为列车初速度和末速度，km/h；x_i为列车在子区间i内的运行距离，m；\mathrm{\Delta }{a}_{\mathrm{m}\mathrm{a}\mathrm{x}}为最大允许冲击率，m/s³，超出该限制会使乘客舒适度受到影响。

为了确保安全，列车驾驶速度不允许超过由车载自动超速防护系统(ATP)计算生成的安全制动曲线。与单列车驾驶策略优化不同，追踪条件下的列车驾驶策略需考虑前车位置对当前列车的影响，因此列车追踪运行动态约束如下，两车追踪间隔应不小于后车制动距离与附加安全距离之和。

\left\{\begin{array}{l}{s}_f-s_{f^{\text{'}}}\ge L_s+L_b\\ v(s_f)\le V_{\mathrm{A}\mathrm{T}\mathrm{P}}(s_f)\end{array}\right.⑹

式中：s_f为当前列车f所在位置即运行里程，m；s_{f^{\text{'}}}为前行列车f^{\text{'}}的运行里程，m；L_s为列车确认后端的附加安全距离，m；L_b为列车制动距离，m；v(s_f)为当前列车所在位置对应的速度，km/h，应不小于ATP安全制动曲线给定的速度V_{\mathrm{A}\mathrm{T}\mathrm{P}}(s_f)，以保证列车在ATP曲线的安全防护下运行。L_b和V_{\mathrm{A}\mathrm{T}\mathrm{P}}(s_f)可由新型列控车载ATP生成安全防护制动曲线给出，其计算过程具体采用反向计算法^[18]，将前行列车包络尾部加上安全距离后的位置作为计算起点，以追踪列车的当前位置为计算终点，将最大制动力视为牵引力，根据列车动力学模型，并结合实时线路条件及列车牵引制动特性，计算得出追踪列车实时ATP安全防护曲线。

1.3　驾驶策略评价指标

（1）准点性。准点性是高速铁路服务质量的重要体现，也是高速列车智能驾驶的关键评价指标。列车在没有受到外部干扰的情况下需准时到达终点，列车运行受到前车或其他外部因素影响时，需调整驾驶策略使列车尽快到达终点。列车准点性由实际运行时间与图定运行时间之差\mathrm{\Delta }T来衡量。

\mathrm{\Delta }T=\left|T-T_{\mathrm{p}\mathrm{l}\mathrm{a}\mathrm{n}}\right|⑺

式中：T和T_{\mathrm{p}\mathrm{l}\mathrm{a}\mathrm{n}}分别为列车的站间实际运行时间和图定运行时间，s。

T可由子区间列车运行时间求和得到。

T={\displaystyle \sum _{i=\mathrm{1}}^N}\frac{\mathrm{2}\mathrm{\Delta }x}{v_{i-\mathrm{1}}+v_i}⑻

（2）节能性。在满足列车图定区间运行时间的条件下，存在多种驾驶策略，对应不同的牵引能耗。列车驾驶策略优化的主要目的是在所有的可行解中找到一个使列车牵引能耗最小的驾驶策略。列车牵引能耗E可由下式计算得出。

E=\int F_a(v)\mathrm{d}x\approx {\displaystyle \sum _{i=\mathrm{1}}^N}{F}_a(v_i)\cdot \mathrm{\Delta }x⑼

式中：F_a(v_i)为列车在子区间i内施加的牵引力，N。

2　列车智能驾驶强化学习框架

强化学习以马尔科夫决策过程(MDP)作为其形式化建模手段，即以强化学习为工具解决某序贯决策问题的前提是该问题的状态-动作序列具有马尔科夫性。列车智能驾驶是一个典型的序贯决策问题，列车在下一时刻的状态取值仅与当前时刻的状态及控制器采取的动作有关，与历史时刻的状态无关，因此将列车操纵驾驶建模成有限马尔科夫决策过程，进而在强化学习框架下展开列车智能驾驶策略优化是可行的。

2.1　马尔科夫决策过程

马尔科夫决策过程的核心要素包括状态集、动作集、状态转移函数和奖励。车载控制器被视为智能体，在强化学习中，智能体从某一状态出发，通过采取动作来与环境进行交互，环境更新状态并反馈给智能体相应的奖励或惩罚，如此循环直至终止状态。智能体在不断地迭代训练中学习到最优策略，以该策略为指导采取动作可获得最大化的累积回报。

2.1.1　状态集

为了加快算法收敛速率需要合理地设计智能体的状态集。在追踪运行条件下需考虑前车运行位置对当前列车的影响，因此本研究中的状态包括当前列车的速度v_k、位置x_k及前车位置x^{\text{'}}。k阶段环境反馈的状态s_k可表示为

s_k=[x_k，v_k，x_k^{\text{'}}]\begin{array}{cc}& \end{array}k=\mathrm{0}，\mathrm{1}，\cdots ，M⑽

初始状态s_{\mathrm{0}}和终止状态s_M可分别表示为

s_{\mathrm{0}}=[\mathrm{0}，\mathrm{0}，s_f^{\text{'}}]⑾

s_M=[X，\mathrm{0}，X]⑿

在初始状态中，当前列车的速度和位置为0，前行列车的位置s_f^{\text{'}}可自定义设置。当前列车到达终点，即运行里程为X时，达到终止条件。

2.1.2　动作集

在强化学习中，智能体模拟司机驾驶行为，对列车施加牵引或制动力，并控制输出力的大小。速度设定手柄可动范围内不同的级位对应着与最大牵引力/制动力的比率，该比率取-1至1之间的离散值。第k阶段智能体采取的动作集A_k可表示为

A_k=\{-\mathrm{1}，-\mathrm{0.8}，\cdots ，-\mathrm{0.2}，\mathrm{0}，\mathrm{0.2}，\cdots ，\mathrm{0.8}，\mathrm{1}\}⒀

式中：-1表示施加最大制动力；-0.8表示施加80%的最大制动力；1表示施加最大牵引力；0.2表示施加20%的最大牵引力；0表示既无牵引力也无制动力，即列车处于惰行工况。上述动作集中共包含11个动作。

2.1.3　状态转移函数

在状态s_k下，智能体在动作集A_k中采取某个动作a_k之后，环境更新状态为s_{k+\mathrm{1}}并反馈给智能体一个奖励r_{k+\mathrm{1}}。下一状态s_{k+\mathrm{1}}是关于状态-动作对(s_k，a_k)的函数，可表示为

s_{k+\mathrm{1}}=\phi (s_k，a_k)⒁

式中：\phi ()为状态转移函数，是强化学习环境的核心。

列车牵引计算模型、列车动力学模型及列车运行约束共同构建了状态转移函数，为环境提供了模型基础。智能体通过与环境的多回合不断交互，通过环境反馈的奖励来获取驾驶经验并产生训练数据。

2.1.4　奖励

奖励r_k是指在智能体执行一个动作后，环境返回给智能体的一个实数数值。奖励定义的好坏直接影响强化学习的结果，为了得到符合期望的列车驾驶策略，将准点与能耗指标设置为智能体执行每步动作后获得的奖励，表示为

r_k=-{\lambda }_{\mathrm{1}}\cdot \frac{\mathrm{\Delta }T}{T_{\mathrm{p}\mathrm{l}\mathrm{a}\mathrm{n}}}-{\lambda }_{\mathrm{2}}\cdot \frac{E}{E^{\text{'}}}⒂

式中：{\lambda }_{\mathrm{1}}和{\lambda }_{\mathrm{2}}分别为准点率与能耗指标的权重系数；T_{\mathrm{p}\mathrm{l}\mathrm{a}\mathrm{n}}和E^{\text{'}}分别为准点率与能耗的标称值，目的是把奖励做归一化处理，E^{\text{'}}可由列车最短运行时间驾驶策略求得。

从当前时刻开始到列车运行结束一个回合中所有奖励的总和被称为累计奖励U_k，可表示为

U_k={\displaystyle \sum _{t=k}^M}{\gamma }^{t-k}{r}_t=r_k+U_{k+\mathrm{1}}⒃

式中：\gamma \in [\mathrm{0}，\mathrm{1}]为折扣率，表示累计奖励的权重。

强化学习的优化目标是最大化累计奖励，通过对累计奖励求期望来评估特定策略\pi下状态-动作对(s_k，a_k)的优劣，该期望被称为动作价值函数Q_{\pi }(s_k，a_k)，最优动作价值函数Q_{\mathrm{*}}(s_k，a_k)是指在所有策略产生的动作价值函数中，策略\pi使得状态-动作对(s_k,a_k)的价值最大。

Q_{\mathrm{*}}(s_k,a_k)=\underset{\pi }{\mathrm{m}\mathrm{a}\mathrm{x}}\mathbb{E}\left[U_k|S_k=s_k,A_k=a_k\right]⒄

上式含义是已知s_k和a_k，在后续的交互中不论采取哪种策略，累计奖励的期望都不会超过Q_{\mathrm{*}}。得到Q_{\mathrm{*}}就可以对智能体执行的动作进行评价，选择评分最高的动作，使得累计奖励的期望最大化。

2.2　深度Q网络算法

深度Q网络算法(DQN算法)是一种强化学习算法，其本质是利用深度神经网络对最优动作价值函数Q_{\mathrm{*}}进行近似^[19]。该神经网络被称为深度Q网络，记作Q(s，a；\mathit{w})，\mathit{w}为神经网络的参数，输入是状态s，输出是每个动作的Q值。DQN算法引入强化学习中2个重要技巧，即经验回放和目标网络。经验回放是把智能体与环境交互产生的记录存储起来，然后从缓存中按照一定规则采样经验来训练智能体，这样既可以打破训练样本序列的相关性，也可以重复利用收集的经验，用更少的样本来训练智能体。目标网络是与深度Q网络结构相同、参数不同的神经网络，记作Q(s，a；{\mathit{w}}^{-})，目的是减少自举导致的偏差传播，造成对最优动作价值函数估计过高。训练深度Q网络常用的方法是时间差分算法(TD)，参数更新公式如下。

\mathit{w}\leftarrow \mathit{w}+\alpha \cdot \delta \cdot {\nabla }_{\mathit{w}}Q(s_k，a_k；\mathit{w})⒅

\delta =r_k+\gamma \cdot \underset{a\in A_k}{\mathrm{m}\mathrm{a}\mathrm{x}}Q(s_{k+\mathrm{1}}，a；{\mathit{w}}^{-})-Q(s_k，a_k；\mathit{w})⒆

式中：\alpha为学习率；\delta为TD误差；{\nabla }_{\mathit{w}}Q(s_k，a_k；\mathit{w})为函数值Q(s_k，a_k；\mathit{w})关于参数\mathit{w}的梯度。

面向新型列控系统的深度Q网络高速列车智能驾驶优化算法步骤如下。

步骤1：初始化。随机初始化Q网络参数\mathit{w}和目标网络参数{\mathit{w}}^{-}，且{\mathit{w}}^{-}=\mathit{w}；初始化算法参数：经验回放缓存大小B，从经验回放缓存单次采样规模b，学习率\alpha，折扣率\gamma，探索概率\epsilon，目标网络更新步数C，训练次数N；初始化环境参数：线路数据(坡度、限速)、列车参数、计划运行时间和追踪间隔。

步骤2：训练流程。采用\epsilon-greedy作为行为策略控制智能体与列车运行环境的交互，选取驾驶动作a_k执行，得到奖励r_{k+\mathrm{1}}和下一个列车状态s_{k+\mathrm{1}}；把四元组(s_k，a_k，r_k，s_{k+\mathrm{1}})存入经验回放缓存，从经验回放缓存中随机采样b个四元组；分别对深度Q网络和目标网络做正向传播，计算TD误差，对深度Q网络做反向传播，得到梯度{\nabla }_{\mathit{w}}Q(s_k，a_k；\mathit{w})；根据公式⒅更新DQN参数\mathit{w}，每隔C步，更新目标网络参数，令{\mathit{w}}^{-}=\mathit{w}；结束循环，输出训练好的DQN参数{\mathit{w}}_{\mathrm{*}}。

步骤3：列车驾驶策略在线优化。设置列车初始状态为s_{\mathrm{0}}；选取最优动作a_k=\underset{a}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}Q(s_k，a；{\mathit{w}}_{\mathrm{*}})，与列车运行环境进行交互，根据公式⒆得出列车下一状态s_{k+\mathrm{1}}；结束循环，输出列车最优驾驶策略曲线。

3　算例仿真

为了验证方法在求解移动闭塞条件下追踪列车智能驾驶策略优化问题上的有效性，设计3个实验场景，分别是无临时限速的追踪运行场景(场景1)、有临时限速但不影响后车运行的追踪场景(场景2)及有临时限速且影响前后车运行的追踪场景(场景3)。仿真采用的高速列车型号为CRH380A，采用京沪高速铁路某区段线路数据，具体参数见文献[12]，DQN算法参数如表1所示。

3.1　仿真实验场景1

本实验场景中，不设置临时限速，前后车根据图定时间发车并在区间运行，即前车不影响后车正常追踪运行，图定运行时间为1 320 \mathrm{s}。根据算法步骤，环境、算法及网络参数进行初始化后，采用\epsilon-greedy策略控制智能体与多车追踪强化学习环境进行交互，将收集的训练数据存入经验回放缓存，用来训练DQN网络。训练过程中奖励函数收敛过程如图1所示，损失函数收敛过程如图2所示。从图1可以看出，奖励函数值在训练过程中整体呈现上升趋势，由于奖励函数值是每训练3~4个回合后计算求得的平均奖励，因此损失函数回合数是奖励函数回合数的3~4倍。从图2可以看出损失函数值在训练过程初期波动较大，从8 000回合之后呈现稳定的下降趋势，表明DQN网络可以学习到列车运行状态与列车驾驶动作之间的非线性映射关系。

场景1中后车ATP曲线更新示意图如图3所示，图中红色与橙色曲线是根据实验线路数据得到的限速与坡度曲线，绿色曲线是采用文献[12]中ARTSOM算法生成的前车驾驶策略曲线，区间运行时间为1 350 \mathrm{s}，能耗为903.52 kW·h。虚线部分是每隔6 s更新的ATP曲线，作为后车追踪运行的动态约束。ATP曲线在图中呈现的稀疏程度与前车速度有关，由于在新型列控系统中后车的目标停车点随着前车的运行而不断地向前移动，因此前车速度越慢，虚线部分越密集。

场景1中前后车驾驶策略曲线如图4所示，其中后车驾驶策略曲线由DQN算法生成，列车运行时间为1 346 \mathrm{s}，与前车运行时间接近并满足准点率要求，运行能耗为901.81 kW·h，比前车降低0.2%，验证了该方法可以得到准点与节能的列车驾驶策略。

3.2　仿真实验场景2

本实验场景中，在列车运行线路中将20 000~28 000 m设置为临时限速区段，限速值设定为160 km/h，前车经过该区段后取消临时限速，即临时限速不影响后车运行。

场景2中前后车驾驶策略曲线如图5所示，从图5中可以看到前车在进入临时限速区段之前处于制动工况将速度降至临时限速以内，为了减少临时限速对准点率的影响，通过临时限速区段后前车再次加速，充分利用了图定运行时间与最短运行时间之间的冗余。本实验中，由于受到临时限速的影响，前车运行时间为1 415 \mathrm{s}，能耗为1 174.89 kW·h，增加的能耗是由于通过临时限速区段后为了赶点牵引加速而导致的。后车运行时间为1 389 \mathrm{s}，能耗为867.21 kW·h，说明后车受到了前车晚点的影响，但是能够在节能的前提下尽快到达目的地。

场景2中前后车行车间隔变化如图6所示。后车发车时，前行列车已运行至区间，因此两车之间起始行车间隔大于0。在后车运行初始阶段，前车速度始终大于后车速度，因此两车之间的行车间隔会逐渐增加。当前车进入临时限速区段后，后车速度大于前车速度，两车间隔逐渐缩小。前车通过限速区段后先加速后进入巡航工况，当后车进入制动工况速度低于前车时，行车间隔再次加大。前车到站后位置不再变化，两车间隔随着后车运行接近终点而逐渐减小至0。图6中两车行车间隔变化过程与图5中前后车的驾驶策略曲线变化过程一致。

3.3　仿真实验场景3

本实验场景中，前车通过临时限速区段后，不取消临时限速，即临时限速同时影响前车与后车的运行。采用DQN算法求解追踪列车的最优驾驶策略并与文献[11]中采用的GA算法得到驾驶策略进行对比，场景3中前后车驾驶策略曲线如图7所示。与图5相比，该场景中前车的驾驶策略不变，由于后车受到临时限速和前车的影响，因此后车驾驶策略发生变化。GA算法得到的后车运行时间为1 388 \mathrm{s}，能耗为1 075.01 kW·h。DQN算法得到的后车运行时间为1 391 \mathrm{s}，能耗为1 043.62 kW·h。2个算法得到的列车运行时间相近，DQN算法得到的能耗比GA算法降低2.92%。训练完成后的DQN网络可在3~5 s内得到优化的追踪驾驶策略，满足实时性要求。

4　结束语

针对新型列控系统功能特点，研究移动闭塞条件下追踪列车的智能驾驶策略优化问题，将该问题转化为马尔科夫决策过程，考虑了列车追踪运行过程中移动授权终点随前车运行而实时更新这一动态约束，在强化学习框架下提出一种基于DQN的列车智能驾驶策略优化方法。设计无临时限速的追踪运行场景、有临时限速但不影响后车运行的追踪场景及有临时限速且影响前后车运行的追踪场景等3个仿真实验，验证方法的有效性。仿真实验表明该方法在正常追踪场景下能够快速得到满足规定运行时分的节能驾驶策略，在受到前车影响的条件下可以实时得出调整后的节能驾驶策略，与在线控制算法ARTSOM相比，该方法可实现准点的前提下节能0.2%，与GA算法相比该方法得到的驾驶策略可以在相近的运行时分下降低能耗2.92%。在未来的研究中，将通过更大规模的仿真实验和工程应用验证，并对研究方法进行改进，以进一步提升移动闭塞条件下高速列车驾驶策略优化性能。

参考文献

[1] 莫志松. 智能铁路列控系统技术发展方向展望[J]. 铁道通信信号，2022，58(8)：1-7.

[2] MO Zhisong. Prospect on Technical Development of Intelligent Railway Train Control System[J]. Railway Signalling & Communication，2022，58(8)：1-7.

[3] 秦树增，魏　峰. 铁路新型列车运行控制系统技术创新及应用[J]. 中国铁路，2023(6)：55-60.

[4] QIN Shuzeng， WEI Feng. Innovation and Application of New Railway Train Operation Control System[J]. China Railway，2023(6)：55-60.

[5] 高士根，董海荣，朱海楠. 面向操纵优化的智能列车辅助驾驶系统[J]. 铁道学报，2019，41(11)：88-94.

[6] GAO Shigen， DONG Hairong， ZHU Hainan. Intelligent Driver Advisory System for Improving Manual Train Driving Performance[J]. Journal of the China Railway Society，2019，41(11)：88-94.

[7] 李一楠，郑理华，徐效宁. 高速铁路自动驾驶系统方案设计研究[J]. 铁道运输与经济，2018，40(10)：56-60.

[8] LI Yi'nan， ZHENG Lihua， XU Xiaoning. A Research on the Design of ATO System for High Speed Railway[J]. Railway Transport and Economy，2018，40(10)：56-60.

[9] HOWLETT P G， CHENG J. Optimal Driving Strategies for a Train on a Track with Continuously Varying Gradient[J]. The Journal of the Australian Mathematical Society Series B Applied Mathematics，1997，38(3)：388-410.

[10] HOWLETT P G， LEIZAROWITZ A. Optimal Strategies for Vehicle Control Problems with Finite Control Sets[J]. Dynamics of Continuous Discrete and Impulsive Systems，2001，8(1)：41-69.

[11] ZHAO N， ROBERTS C， HILLMANSEN S，et al. A Multiple Train Trajectory Optimization to Minimize Energy Consumption and Delay[J]. IEEE Transactions on Intelligent Transportation Systems，2015，16(5)：2363-2372.

[12] WANG P L， GOVERDE R M P. Multiple-Phase Train Trajectory Optimization with Signalling and Operational Constraints[J]. Transportation Research Part C：Emerging Technologies，2016(69)：255-275.

[13] 杨　杰，吴佳焱，王　彪，等. 基于启发式遗传算法的列车节能运行目标速度曲线优化算法研究[J]. 铁道学报，2019，41(8)：1-8.

[14] YANG Jie， WU Jiayan， WANG Biao，et al. Algorithm of Target Speed Profile Optimization of Energy-Efficient Train Operation Based on Improved Heuristic Genetic Algorithm[J]. Journal of the China Railway Society，2019，41(8)：1-8.

[15] 张　淼，张　琦，张梓轩. 基于Q学习算法的高速铁路列车节能优化研究[J]. 铁道运输与经济，2019，41(12)：111-117.

[16] ZHANG Miao， ZHANG Qi， ZHANG Zixuan. A Study on Energy-Saving Optimization for High Speed Railways Train Based on Q-Learning Algorithm[J]. Railway Transport and Economy，2019，41(12)：111-117.

[17] 周　敏，董海荣，周学影，等. 临时限速下基于强化学习的高速列车速度曲线优化[J]. 铁道学报，2023，45(2)：84-92.

[18] ZHOU Min， DONG Hairong， ZHOU Xueying，et al. Reinforcement Learning-Based Optimization of Speed Profile for High Speed Train with Temporary Speed Restriction[J]. Journal of the China Railway Society，2023，45(2)：84-92.

[19] NING L B， ZHOU M， HOU Z P，et al. Deep Deterministic Policy Gradient for High Speed Train Trajectory Optimization[J]. IEEE Transactions on Intelligent Transportation Systems，2022，23(8)：11562-11574.

[20] LIU W T， SU S， TANG T，et al. A DQN-Based Intelligent Control Method for Heavy Haul Trains on Long Steep Downhill Section[J]. Transportation Research Part C：Emerging Technologies，2021(129)：103249.

[21] SONG H F， GAO S G， LI Y D，et al. Train-Centric Communication Based Autonomous Train Control System[J]. IEEE Transactions on Intelligent Vehicles，2023，8(1)：721-731.

[22] TASIU I A， LIU Z G， WU S Q，et al. Review of Recent Control Strategies for the Traction Converters in High Speed Train[J]. IEEE Transactions on Transportation Electrification，2022，8(2)：2311-2333.

[23] CAO Y， WEN J K， MA L C. Tracking and Collision Avoidance of Virtual Coupling Train Control System[J]. Future Generation Computer Systems，2021(120)：76-90.

[24] 郝　建，杨志杰，卢佩玲，等. 新型列控系统无线闭塞中心测试平台研究[J]. 铁道标准设计，2024，68(4)：211-219.

[25] HAO Jian， YANG Zhijie， LU Peiling，et al. Research on the Test Platform for Radio Block Center of New Train Control System[J]. Railway Standard Design，2024，68(4)：211-219.

[26] 谭　莉，王长林. CTCS3级列控系统ATP防护曲线算法研究[J]. 铁路计算机应用，2014，23(7)：48-52，57.

[27] TAN Li， WANG Changlin. Method of ATP Protection Curve for CTCS3 Train Control System[J]. Railway Computer Application，2014，23(7)：48-52，57.

[28] MNIH V， KAVUKCUOGLU K， SILVER D，et al. Human-Level Control through Deep Reinforcement Learning[J]. Nature，2015，518(7540)：529-533.

基金资助

中国铁道科学研究院集团有限公司科研项目(2021YJ018)

北京华铁信息技术有限公司科研项目(2023HT06)