基于强化学习的铁路列车运行图编制与优化研究综述

Review on Reinforcement Learning-Based Railway Train Working Diagram and Optimization

摘要

列车运行图编制是铁路运输组织的核心决策问题，与强化学习中马尔可夫决策过程建模具有内在适配性。首先从理论层面论证强化学习应用于编图任务的可行性和优劣势，总结研究过程需要解决的组件设计、算法设计等关键问题；通过对既有文献进行调研，认为目前研究仍处于探索阶段；在核心组件层面，归纳提出5类状态空间设计方式以及要素变更、过程控制、编图动作等动作空间设计方式，给出基于问题特性的神经网络模型和强化学习算法匹配推荐方案；在技术层面，分析目前面临的高维状态空间表征和多维组合空间探索等挑战和突破路径；最后从行业视角展望未来的技术趋势和发展方向，可为后续研究的建模方式、技术方案和行业落地提供系统性参考。

Abstract

Train working diagram compilation serves as a core decision-making problem in railway transport organization, demonstrating intrinsic compatibility with Markov decision process modeling in reinforcement learning. The study first theoretically validated the feasibility, advantages, and limitations of applying reinforcement learning to train working diagram compilation tasks and identified key challenges in component design and algorithm development. Through a comprehensive literature review, it was found that current research remained in the exploratory phase. At the core component level, five categories of state space design were summarized, along with action space design approaches based on element modification, process control, and train working diagram compilation actions. Neural network architectures and reinforcement learning algorithms were recommended according to problem characteristics. Technically, the study analyzed the current challenges such as high-dimensional state space representation and multi-dimensional combinatorial space exploration, as well as the breakthrough paths; finally, from an industry perspective, the future technological trends and development directions were prospected. This can provide systematic references for the modeling methods, technical solutions, and industry implementation of subsequent research.

Graphical abstract

关键词

列车运行图编制 / 强化学习 / 马尔可夫决策过程 / 状态空间 / 动作空间

Key words

Train Working Diagram / Reinforcement Learning / Markov Decision Process / State Space / Action Space

0　引言

列车运行图是铁路运输组织的核心，是客货运、司乘、机辆和动车组移动装备运用、施工、车站作业等计划编制的依据^[1]。截至2024年底，我国铁路营业里程达16.2万km，旅客发送量达40.8亿人次^[2]，列车运行图编制工作面临着新的挑战：一是随着新线开通和列车开行数量增长，需要编制的列车运行线数量上升，编制总体工作量不断增大；二是为适应旅客出行的时空不均衡性以更好地满足旅客出行需求，临客图和分号图的编制次数逐渐增加；三是我国铁路路网结构愈发复杂，跨线车数量多、里程长且优先级高，其调整需协调所经多条线路的相关运行线和交路，导致编图难度逐级增长。以上挑战对当前编图工作的效率和质量提出了进一步的要求，需要研究列车运行图智能化编制技术^[3]。人工智能(Artificial Intelligence，AI)技术作为新兴技术和新质生产力的发展核心，具有实现列车运行图自动化、智能化编制的潜力。中国国家铁路集团有限公司《“十四五”铁路网络安全和信息化规划》明确指出，铁路大数据与人工智能平台是铁路现代信息基础设施的重要组成部分。中国铁道学会智能铁路学术交流会发布铁路人工智能十大应用场景，将列车运行图编制归为智能运营板块的运输组织领域。人工智能逐渐成为赋能新型工业化新的抓手以及解决铁路行业问题新的路径，已成为共识。

研究面向智能铁路发展战略需求，聚焦强化学习与列车运行图编制的交叉领域，遵循理论分析、文献综述、技术总结、未来展望的路径开展系统性研究。首先从马尔可夫决策过程建模视角论证强化学习与编图问题的理论适配性。继而对目前列车运行图结合强化学习的文献进行综述，总结和分析已有研究的实现路径、进展和不足。进一步对于强化学习的状态空间、动作空间和奖励函数等核心组件的设计方式进行了总结和扩展探讨，对目前适用于列车运行图编制问题的主流神经网络结构以及具有潜力的强化学习算法提出方案建议，最后对强化学习研究路线中亟需突破的重难点和实现路径进行了展望。研究可为强化学习技术与列车运行图编制问题的深度融合提供理论参考与方法支撑。

1　强化学习在列车运行图编制中的应用基础

1.1　列车运行图编制问题概述及复杂性分析

列车运行图编制问题(以下简称“运行图编制问题”)是铁路运输组织计划的核心。由于铁路运输组织的复杂性，通常将运输计划分为多个阶段^[4]，包括开行方案、列车运行图、车站作业计划、运输交路、乘务计划和检修计划等，各阶段运输组织问题的决策要素如图1所示，每个阶段确定各自的决策要素取值。运行图编制问题的输入通常是开行方案，决策要素是所有列车在各个车站的到发时刻、停站时间以及在区间的慢行时间，目标是生成一个无冲突、满足各专业需求的列车时刻表。

从研究粒度角度，运行图编制问题可分为宏观、中观、微观3类^[5]。宏观运行图将车站视为一体，使用简易的到发间隔时间；中观运行图考虑了车站的咽喉、股道和进路，以及列车在各进路的运行时间和间隔时间；而微观运行图则进一步通过列车在车站的动态运行过程考虑运行时间和间隔时间。

从优化目标角度，运行图编制问题的目标可分为运输效率目标(旅时、效益)、鲁棒性目标(冗余、延误)、运输能力目标(列车数)、可持续性目标(能耗、碳排放)、弹性恢复目标(恢复时间)、灵活性目标等^[6]，目前研究多对各类目标进行综合考虑，以生成多种具有帕累托最优性的方案供决策者参考。

从决策要素角度，呈现多阶段协同优化趋势，将列车运行图时刻决策要素与上下游开行方案、车站作业计划、交路等运输组织阶段的决策要素进行一体化耦合。具体表现为开行方案与列车运行图协同优化^[7]、列车运行图与交路协同优化^[8]、列车运行图与交路和检修综合优化^[9]等。

在方法论层面，主流运行图编制问题求解方法通常是构建数学规划模型，通过精确算法、启发式算法、分解算法等进行求解，通过仿真方法进行验证或评估^[10]。精确算法包括分支定界、分支定价等，能够获得问题最优解，适用于小规模问题。启发式算法有基于贪婪规则的启发式^[11]、基于线性松弛的启发式^[12]、基于拉格朗日松弛^[13]或交替方向乘子法^[14]的启发式等。在Cacchiani等^[4]研究中，分支定价算法求解的最大规模为17个车站和60列车，更大规模的案例在100 000 s内未能求解，而拉格朗日启发式算法^[15]耗时523 s，Gap为10.33%，线性规划启发式算法耗时43 200 s，Gap为7.76%，启发式算法能够在保证一定解质量的前提下更快求解。分解算法包括拉格朗日对偶分解、Benders分解、列生成、行生成、时域滚动等，将复杂问题分解为子问题，再结合精确算法或者启发式算法求解。例如Leutwiler等^[16]通过Benders分解将问题分解为集合覆盖主问题和时刻表优化子问题，再使用启发式算法求解。史峰等^[17]设计了货物列车运行线铺画的时间循环迭代优化算法，将问题按照时间域进行分解，每个子问题采用最早冲突优化启发式算法求解。在商业求解器中，会综合运用分支定界等精确算法、松弛诱导邻域搜索等启发式算法、变量紧缩和约束强化预处理技术、自动调参技术和分布式并行计算等先进手段。

虽然目前以运筹优化为主流的运行图编制问题研究已取得丰硕成果，但要真正在现实大规模场景下运用，还需要解决以下3个难题：一是问题刻画难，实际问题涉及的安全性、业务性和特殊性需求较为复杂且不明确，部分人工经验和规则难以完全转化为数学模型^[18]，造成理论和实际脱节，结果不能直接应用；二是目标协调难，各优化目标互相冲突，需要在多专业需求之间寻求平衡；三是计算求解难，运行图编制问题决策变量多、约束条件多、时空耦合性强，已被证明是NP难的组合优化问题^[19]，对于大规模问题还难以高效求解。未来的研究在模型上正朝着粒度微观化、决策协同化、目标综合化的方向发展，在方法上正朝着算法混合化、技术融合化的方向发展，而人工智能特别是强化学习方法在运行图编制问题中的应用仍处于早期阶段，需要进一步研究才能满足更复杂的行业需求^[20]。

1.2　强化学习在运行图编制中的适用性分析

强化学习是一种针对序贯决策问题的人工智能解决范式，主要思想是通过构建学习智能体，使其在与环境大量试错交互的过程中不断地提升行为策略^[21]。而深度强化学习^[22]通过将深度神经网络强大的表征能力与强化学习的时序决策能力结合在一起，将状态和动作扩展到高维空间。2015年DeepMind发布的AlphaGo^[23]，结合了深度神经网络和蒙特卡洛树搜索，展示了深度强化学习处理极端复杂策略问题的潜力。DeepMind推出了AlphaStar^[24]，一个复杂即时战略的AI系统，进一步证明了深度强化学习不仅适用于棋类，还能在实时、复杂的动态环境中即时决策。与此同时，OpenAI研发的OpenAI Five^[25]不仅要在复杂的环境中做出即时反应，还要和其他智能体协作进行共同决策，展示了深度强化学习在高协作环境中的潜力。

将强化学习应用于运行图编制问题，需要两者具有共同的理论和数学基础。强化学习和运行图编制问题的对应关系如图2所示，强化学习针对的是序贯决策问题，其特点是：一是问题的求解需要经过一系列的时序决策；二是每次决策都会对后续问题的状态产生影响；三是所有决策的共同目标是追求长期收益。这些特征恰好能与列车运行图编制的内在逻辑相契合：①编制完成需要经过一系列编图决策；②每次编图决策都会对列车运行图状态产生影响；③所有编图决策的共同目标是追求最终的列车运行图质量。进一步，如果序贯决策问题的状态转移过程具有马尔可夫性，则这个序贯决策问题是一个马尔可夫决策过程(Markov Decision Process，MDP)^[26]。编制过程中每个决策仅需依赖于当前运行图状态而非历史状态，可被定义为一个马尔可夫决策过程。这种形式化建模为强化学习的应用提供了理论基础，使得编图问题能够转化为策略网络的优化问题，从而通过智能体与环境的交互学习实现动态优化。

列车运行图编制马尔可夫决策过程模型的具体构建，如图2下半部分，需要将双方要素进行对应。强化学习要素包括智能体、策略、动作、环境、状态和奖励，标准的马尔可夫决策过程由5部分组成：M=〈S,A,T,R,\gamma 〉，其中，S表示状态空间，A表示动作空间，T表示状态转移函数，R表示奖励函数，\gamma表示折扣系数^[27]。其中，智能体涵盖动作空间和策略函数，规定了智能体可选择的决策范围和决策选择方式。环境涵盖了状态空间和状态转移函数，明确了环境表示方式和状态转移方式。智能体依据当前状态s_t和策略函数从动作空间中选择动作a_t，并作用于环境根据状态转移函数T转移到s_{t+\mathrm{1}}，智能体根据(s_t,a_t,s_{t+\mathrm{1}})获取奖励r_t，并进入下一状态s_{t+\mathrm{1}}继续循环往复，形成智能体探索轨迹，算法根据轨迹迭代求解最优策略函数。对于列车运行图编制过程，智能体对应于编图智能体，涵盖编图动作集合和编图策略。环境对应于列车运行图图面，通过到发点、停站数量、股道、冲突数和交路关系等信息表示图面状态，并根据编图智能体选择的编图动作更新图面状态。编图智能体根据执行动作后的图面状态获取与目标函数旅时、旅速等相联系的奖励，并进行下一状态，循环往复完成列车运行图的编制过程。

相较于运筹优化方法，强化学习的核心优势在于通过离线训练阶段的策略优化，将计算资源和消耗进行前置化投入，从而在推理应用阶段降低实时决策的复杂度，缓解组合优化的维度灾难问题，且可以直观地在环境模型中描述难以通过数学模型构建的复杂约束，增强模型与现实场景契合度。相较于人工智能领域的其他范式^[28]，强化学习应用于运行图编制问题的优势还在于：①无数据和标定需求，相对于监督学习，强化学习不依赖海量历史编图数据和标定，通过与列车运行图的交互直接产生编图过程数据；②减少人工经验依赖，相对于专家系统，强化学习数据驱动自动发现策略，降低对领域专家经验和规则的依赖；③支持在线策略更新，相较于静态模型，可随场景变化持续优化编图策略，实现快速响应更新。因此强化学习是比较适合求解运行图编制问题的人工智能技术路线。

强化学习也存在自身的局限性和劣势：一是训练成本高，编图问题的复杂状态空间需大量试错交互，导致训练耗时远超传统运筹优化方法；二是策略可解释性差，神经网络的黑箱特性导致编图决策逻辑不可追溯，难以被领域专家验证和调整；三是奖励设计困难，编图质量的终局奖励难以有效指导中间决策，需依赖奖励塑形等技术。

此外使用强化学习解决运行图编制问题还存在一系列需要解决的关键问题和挑战。在建模层面，强化学习能否高质量地求解问题，取决于是否能将运行图编制过程描述为通用、健壮、低消耗的马尔可夫决策过程，重点是对状态空间、动作空间和奖励函数的协同设计。在算法层面，神经网络模型的结构设计与强化学习算法的收敛效率共同决定了智能体的学习能力。在应用层面，算力底座的高性能计算支持与模型迁移技术的跨场景泛化能力，是解决大规模工业级问题的关键。研究围绕上述问题框架展开系统性综述与前瞻性分析。

2　强化学习在列车运输计划编制与优化中的研究进展

目前单纯研究铁路运行图编制问题的文献还较少，因此将文献综述的范围扩展到列车运输计划编制与优化的相关研究，这些研究在问题对象、约束条件、决策要素等方面存在相似性。根据研究视角和动作空间的设置方式，相关研究可以分为3类，分别是基于列车运行过程的研究、基于列车运行图要素的研究和基于编图动作的研究。

（1）基于列车运行过程的研究。基于列车运行过程视角的研究，将列车的移动、停止等运行过程作为动作，是目前文献数量最多的方式。Šemrov等^[29]首次把Q学习(Q-Learning)应用到单线铁路列车运行调整问题中，环境的状态空间通过当前列车位置、基础设施可用性和时间3类参数表示，智能体决定当前时刻列车是否移动到下一个区间。该研究的一个创造性贡献是基于列车运行过程把动作设计为移动和停止两类，使得动作空间较小。

Khadilkar^[30]将Q-Learning应用到运行图编制问题中，使用分散式的状态空间表示本地资源状态和当前列车优先级，列车按所处资源的拥挤程度顺序进行决策，从而使得当前步的状态空间和动作空间大小不受问题实例的规模影响。动作空间只有2类，将当前列车移动到下一个本地资源或在当前资源停止一段时间。该研究的贡献在于提出了本地资源和本地邻域等概念，将表示状态的特征向量和动作选择范围限制在每列车的邻域范围从而控制单次决策的规模。Ning等^[31]将深度强化学习算法深度Q网络(Deep Q-Network，DQN)引入列车运行调整问题中，状态空间通过列车到达时刻和出发时刻矩阵表示，动作空间为列车出发顺序，研究中考虑了很多类现实约束，包括间隔时间约束、区间慢行约束等，更贴近现实场景。Zhu等^[32]构建了更加高效的铁路运行环境表征模型，使得算法收敛需要的训练次数降低。

Obara等^[33]构建图网络结构环境模型表示列车的运行过程，并将图网络中边和点的拓扑结构变形指令作为动作输出，验证了图网络作为强化学习环境模型的可行性。Agasucci等^[34]对分散式和集中式2种深度强化学习方案应用于列车运行调整问题进行了实践和对比。在分散式方案中，状态空间表示为当前事件、列车数量、列车优先级等，动作空间为停止、移动到最佳资源、移动到可行资源3类。在集中式方法中，引入了图神经网络表示状态，可为不同的列车规模采用相同的神经网络。

Yang等^[35]创新性地提出了一种“时-空-能力”二维网格世界模型，具有与数字图像相似的特征如线条、面积、纹理等，从而能够使用深度卷积神经网络从模型中提出和利用点、线等图像特征。通过奖励塑形技术在每步引导智能体的具体行为，首先获得足够多的可行解，其次找到更好的方案。在智能体构建方面采用了部分观测机制，避免因状态空间太大导致的计算量问题和过拟合问题。Wu等^[36]重点研究了重载铁路的运行图编制问题，使用基于演员-评论家(Actor-Critic，AC)框架的深度强化学习算法，采用了两阶段动作掩蔽和采样机制，避免了无效动作引起的无效搜索。Tang等^[37]提出了一种多任务深度强化学习框架，通过历史故障案例提取并筛选具有代表性的训练任务，使模型能够在不同场景下实时生成高质量的调度方案，从而将训练结果泛化应用到不同复杂场景中的高速铁路列车运行调整模型。

（2）基于列车运行图决策要素的研究。部分研究将列车运行图中的决策要素，例如列车出发时间、开行顺序、停站等，直接作为智能体的决策动作。Li等^[38]构建了一种集中训练和分散执行的多智能体AC算法框架以解决运行图编制问题。与Khadilkar^[30]处理状态和动作空间的方式类似，将大型联合空间分解为多个局部空间。状态空间为每个列车智能体在当前站出发时间、是否停站和列车方向，动作空间为列车在下个车站的停站时间。多个智能体共享一个演员网络参数，集中式评论家网络从全局角度评估演员网络选择的动作价值。Ying等^[39]在算法应用上进行创新，引入AC深度强化学习框架和深度确定性策略梯度算法，训练智能体对列车的发车时刻、停站时间和区间运行时间进行动态决策，解决有限车底数量条件下的地铁列车调度问题。在此基础上，进一步考虑在地铁运营过程中动态调整列车编组^[40]，并采用近端策略优化算法进行求解。为解决多线路的地铁协同运营问题，提出使用基于集中训练-分散执行的多智能体AC深度强化学习框架，并设计了多智能体深度确定性策略梯度算法进行训练。Yue等^[41]采用列车发车顺序定义动作，并通过列车延误定义状态，使学习策略能够直接区分不同延误场景，并在多延误场景下训练策略应对多样化场景。

（3）基于编图动作的研究。这一类研究将运行图编制专家的操作设计为动作空间。范文天等^[42]从冲突疏解的角度，实现了一个用于调解列车运行图冲突的智能体。在动作空间设计方面，针对4类典型冲突，对增加停站、取消停站、向前平移、向后平移等基本动作进行组合，设计了一系列用于消解冲突的组合算子，使用近端策略优化(Proximal Policy Optimization，PPO)算法进行求解。

强化学习应用于列车运行图编制的文献总结如表1所示。

根据上述综述和Wang等^[43]的文献分析，目前对于强化学习应用于运行图编制问题的研究，还存在以下不足。①决策要素覆盖较少，现有研究多聚焦列车到发时刻和停站时间的决策，但是只有部分研究包括慢行时间和对股道占用的决策，关于交路、检修等其他阶段的协同优化还无涉及。②问题假设简化较多，例如Khadilkar^[30]和Yang等^[35]都假定列车始发时刻是固定的，很大程度上缩小了智能体需要探索的空间，与运行图编制问题的实际情况不够贴切，难以满足业务需求。③案例规模较小，现有案例通常基于单条线路、区段的部分时段，缺乏大规模实际场景应用的验证。④模型和算法比较基础，使用的神经网络模型和算法以全接连网络和DQN、PPO等为主，未充分引入Transformer等新型神经网络结构和组合强化算法以提高表达能力和训练效率。⑤模型的泛化探究还未涉及，当前还未涉及到以策略模型泛化为主题的研究，制约了算法工程化应用的潜力。

综上，目前针对强化学习在运行图编制问题中的应用研究还处于起步阶段，在场景综合化、现实化和规模化等各方面的研究深度和成果都与运筹优化领域相差较大，未来在强化学习核心组件设计、神经网络模型构建和强化学习算法设计等方面，还有许多亟待突破的难题。

3　列车运行图编制的强化学习核心组件设计

强化学习技术路线的构建是状态空间、动作空间、奖励函数等核心组件的有机结合，基于现有研究进展，深入总结和探讨各种组件的设计方法和优劣势，并提出未来突破方向。

3.1　状态空间设计

状态空间是智能体感知环境的核心载体，其设计直接决定了模型对问题的表征能力与学习效率^[32]，构建兼顾信息完整性与计算高效性的状态空间表征方式，是强化学习应用于列车运行图编制的关键前提。通过对目前研究的总结和展望，可采用以下状态空间表达方式。

（1）列车运行图参数构建方式。列车运行图参数构建是最直观的状态空间表达方式，核心是通过标量、向量和矩阵等形式，直接编码列车运行图相关的业务数据参数，例如列车到发时刻矩阵^[31]、股道占用向量、区间运行时间序列等。这种方式的优势是直观易实现，与铁路运输业务逻辑高度契合，特征含义清晰，便于领域专家参与模型设计与验证，同时还具有信息完备性，避免关键特征遗漏。缺陷则是在大规模场景会面临维度灾难，导致算法收敛速度下降。此外，低信息量特征(如固定天窗时间)与高动态特征(如实时冲突数)的混杂易引发特征冗余造成过拟合^[44]。未来研究需聚焦高维空间降维技术，例如动态注意力机制^[45]，通过在线评估特征权重的智能筛选，在保留业务逻辑透明度的同时实现轻量化、抗干扰的状态建模。

（2）列车运行过程构建方式。列车运行过程构建方式通过模拟列车的物理运动与基础设施交互实现状态空间建模。其核心是将列车的位置、长度、速度、加速度等动力学参数与线路坡度、信号系统状态等基础设施信息动态耦合，构建基于列车实际运行过程的状态表征^[29]。这种方法的优势在于其物理可解释性：动作空间设计简单(如移动、停车等基本指令)，且生成的运行图严格符合列车牵引制动性能与线路物理约束，确保方案的可行性。其缺陷在于大规模场景下需构建高精度仿真环境，计算复杂度随列车数量与路网规模呈指数级增长，未来研究可通过采用分段匀速假设等降阶模型近似列车动力学过程，以及构建轻量化混合仿真框架在普通区段采用规则驱动快速推演，平衡计算效率与精度。

（3）图像化构建方式。图像化构建方式将列车运行图映射为二维时空图像，从而使用卷积神经网络提取点、线、颜色等图像特征^[35]。其优势在于可高效复用预训练模型、特征可视化等计算机视觉技术。缺陷则在于一是密集线条交叉重叠导致的识别错误，使得相邻运行线间距小于卷积核尺寸时，导致冲突检测漏报或误报；二是纯图像化表征难以直接表达可选股道、停站时间范围等业务逻辑。未来研究可通过将冲突数、优先级等属性，以及复杂的业务规则要求分离至独立神经网络通道，缓解线条重叠干扰，增强复杂逻辑表达能力。

（4）网络转化构建方式。网络转化构建方式通过将列车运行图抽象为网络结构(节点表示车站、列车或时空位置，边表示运行关系、冲突约束或资源占用)^[33]，利用图神经网络建模节点间依赖关系，其优势在于自然表达列车-车站-区间的复杂交互。然而，该方式网络结构的转化需复杂预处理，且节点、边特征设计依赖领域知识，动态调整(如临时增减车次)需重构图拓扑。未来研究可采用增量式图更新技术，仅局部修改受扰动节点/边，避免全图重构。

（5）局部观测空间构建方式。在以上构建方式的基础上，可通过将单列车决策时的观测空间限定于其时空邻域范围^[30]，实现状态空间降维。其核心在于以当前列车为中心，设定固定空间范围与时间窗口，仅采集邻域内列车运行状态、基础设施占用等关键信息，并通过预设规则剔除无关全局变量，可通过滑动窗口实现全图覆盖，有效规避维度灾难。缺陷在于固定邻域无法适应所有决策场景，且局部最优决策可能引发全局次优解。未来研究可探索动态邻域调整机制，根据列车优先级、自适应扩展观测范围，以及采用局部-全局双通道编码，在保留局部细节的同时注入全局特征。

3.2　动作空间设计

动作空间作为智能体与环境的交互接口，其设计方式直接制约算法的决策效率与策略质量，构建兼具操作可行性与搜索效率的动作空间表征机制，是强化学习驱动列车运行图编制的核心挑战，可采用以下动作空间设计方式。

（1）列车运行图决策要素变更方式。基于核心决策要素直接调整的动作空间构建方式，通过显式定义列车到发时刻^[39]、股道分配、停站时间^[38]等要素的数值变更集合实现策略搜索，也称为参数化动作空间，其优势在于建模过程与编图操作逻辑严格对齐，具备可解释性与业务可嵌入性。缺陷则是在大规模编图场景面临动作空间的组合爆炸问题，影响智能体策略的收敛效率。未来研究可尝试构建编图领域知识引导的动态动作空间压缩机制，例如将先验启发式规则和基于冲突预测的动态掩码技术等手段相结合，在保留合理动作的同时降维动作空间。

（2）列车运行过程控制方式。该方式通过模拟列车在物理空间中的移动过程构建动作空间，例如列车在当前位置停止或移动到下一个节点^[29]。其核心优势在于动作空间小，不跟随问题规模增长。缺点是需要将环境构建为顺序资源，如何表达复杂枢纽中列车的运行过程和列车之间的关系如交路或衔接等也是难点。这种方式将动作空间上的复杂度转移到了环境建模中，需要大量且真实的仿真环境建模工作。

（3）编图专家动作方式。该方式通过模仿编图专家，将平移运行线、股道切换等人工操作构建为离散动作空间^[42]。优点是将领域专家经验作为基本的动作单元，实现决策逻辑与业务经验的深度融合，更好地引入专家经验和启发式规则。缺点则是在大规模场景也会面临动作类型数量呈组合式增长的问题，可通过人工筛选删除冗余动作，构建最小化动作集合，以及通过启发式规则动态调整动作空间，在不破坏解最优性的前提下降低动作空间维度。

（4）组合动作空间方式。可以在上述方式的基础上，将基本动作进行组合以实现更复杂的行为，例如高速列车成捆开行、低速列车越行高速列车等联合复杂动作^[42]。优点在于通过封装专家经验中已验证的编图模式，提升单步决策的问题解决能力，减少复杂编图任务的决策步长。缺点是组合动作会增加动作数量，所以要有限制地构建合理的动作组合集，并在训练过程中淘汰低频低效动作，控制动作空间规模。

（5）层次结构化动作空间方式。动作空间进一步可以设计为多层次，例如对象层决定操作的列车对象，动作层负责决定具体执行的动作类型，执行层负责决定动作类型的数值。优势在于通过分阶段决策将高维动作空间分解为低维子空间，缓解维度灾难，而且可以在各级嵌入领域启发式规则，提升策略可解释性。缺点则需精准设计各层状态-动作映射规则，过度简化易引发动作遗漏，过度细化则增加训练难度。

3.3　奖励函数设计

奖励函数R(s_t,a_t,s_{t+\mathrm{1}})定义了在状态-动作对(s_t,a_t)下智能体获得的奖励值r_t，是指导智能体进行策略学习的关键因素。在运行图编制问题中，首先面临的奖励问题就是稀疏和延迟奖励，在编制过程中没有奖励反馈，只有完成后才能获得一次终局奖励。稀疏奖励会导致大规模问题中智能体很难获得反馈，只能依赖随机策略陷入长期试错而无法收敛。延迟奖励则导致归因困难，无法确定过程中的行为对结果的贡献如何。在奖励的处理方面，可采用奖励塑形、内在动机奖励、课程学习等方式。

（1）奖励塑形。奖励塑形技术通过修改原始奖励信号，添加辅助性奖励或惩罚，使得智能体在探索过程中能够获得更多的即时反馈，从而提升学习效率。其中，基于潜在函数的奖励塑形^[46]在奖励信号中添加一个潜在函数\Phi (s)，能够在不改变最优策略的情况下加速学习过程。此外，可以对智能体的关键状态和决策行为添加人工奖励或惩罚，例如对额外停站进行惩罚，从而使智能体避免达到某种状态或产生某种行为，但是这种方式需要领域知识支撑，如果设置不当可能会导致最优策略发生改变。

（2）内在动机奖励。内在动机指智能体因内在因素而自主发起的探索和学习活动，而不完全依赖于外部奖励信号^[47]。内在动机可以源于多种因素，例如基于新颖性的奖励，智能体在访问新的状态或采取新的行动时获得奖励。好奇心驱动的奖励，使用一个模型来预测环境的状态转移，如果实际结果与预测有较大差异则获得奖励。内在动机驱动下的智能体对环境变动和任务变化更具鲁棒性，因为其学习过程不完全依赖于预设的外部奖励。使用这种方式需要控制编图问题状态空间的大小，不然可能陷入长期的探索过程中。

（3）课程学习。课程学习^[48]的核心思想是通过规划训练样本的呈现顺序，从简单到复杂逐步引入，以提高模型的学习效率和性能。例如可以先学习简单的冲突疏解，再学习复杂的交路安排。逆向课程生成则从目标任务开始，构建一系列从目标任务退化而来的子任务，让智能体逐步成功解决这些子任务。例如刚开始输入一个离理想运行图只差一步的训练场景，使智能体学会最终状态。

3.4　神经网络模型构建

神经网络模型作为强化学习智能体的策略函数和价值函数载体，其结构设计直接影响状态特征的提取效率与策略的泛化能力。针对列车运行图编制的多要素耦合、高维时空约束特性，需选取具有强表征能力、低计算冗余的模型架构。以下系统梳理4类适用于编图问题的神经网络模型及其适配场景，提出基于业务特性的构建逻辑与优化方向。

（1）实验场景或小规模问题。对于实验性或小规模编图问题，可采用前馈神经网络中的多层感知机(Multilayer Perceptron，MLP)^[49]。输入层可由列车到发时刻和股道占用状态展平构成，输出层映射为时刻调整量与股道分配，通过多个隐藏层及ReLU激活函数实现非线性决策。MLP结构简单、易于实现和训练，但缺陷一是问题规模扩大时参数量激增引发梯度异常，学习效率下降；二是只能进行图面状态到编图动作的静态映射，无法捕捉运行图的时变过程。未来可通过时域滑动窗口增强状态时序表达，或结合残差连接提升训练稳定性。

（2）网络型建模问题。对于涉及复杂铁路网络的编图场景，可采用图神经网络^[50]及其改进结构建模。图神经网络已被应用于求解图上的组合优化问题如旅行商问题^[51]和列车调度问题^[52]，可将车站或列车作为节点承载时空状态，股道冲突、安全间隔等约束则构成边的连接规则，通过图结构的信息传递与聚合机制，模型能够捕捉局部冲突与全局资源竞争的隐含关联。这一路径面临的挑战在于大规模路网的图结构动态变化会导致全局推理效率下降；而不同线路拓扑特征的差异性则限制了单一模型的跨场景适应能力。

（3）图面型建模问题。将列车运行图视为二维图像，通过图像化建模可将运行图编制问题转化为视觉特征识别任务。像素位置对应具体时间和空间，颜色表示不同的列车、股道等实体及状态，再通过卷积神经网络以及Alex网络、残差网络等改进模型^[53]提取图像特征。这种方法存在的局限一是静态图像难以动态反映列车运行中的实时变化过程，二是图像网格无法准确表达复杂拓扑如环形线路、咽喉道岔的真实结构，导致模型忽略关键物理约束。未来可探索动态时空卷积分层视频理解技术，将列车运行图建模为连续帧序列，采用卷积核提取时空关联特征，以及在图像构建阶段使用图神经网络预编码车站连接关系、道岔结构等拓扑信息，生成带有语义掩码的增强图像。

（4）序列型建模问题。列车的到发时刻具有时间连续性，循环神经网络^[54]通过循环层对序列数据进行逐步建模，天然契合列车到发时刻的时序特性，可将一个交路中的列车作为序列，使网络依次预测每个车站的到发时刻和股道，并通过隐藏状态的链式传递实现跨车站的决策连贯性。然而，传统循环神经网络存在梯度消失、爆炸问题，难以捕捉长交路中的远程依赖，为此可采用长短期记忆网络^[55]或门控循环单元^[56]改进架构。

编码器-解码器(Encoder-Decoder)框架是一种常用于处理序列到序列问题的神经网络架构，而列车的到发时刻就是一种序列数据。其中Encoder-Decoder结构的指针网络^[57]已被应用于求解旅行商等交通问题，但如何构建映射到列车运行图的输入序列是需要解决的问题。

随着Transformer^[45]模型的广泛应用，基于自注意力的架构正逐步替代循环神经网络模型。Transformer摒弃了循环结构，通过多头自注意力机制和位置编码直接建模序列中任意位置的关系，实现并行化计算。其核心优势在于能更有效捕捉长序列中的远程依赖，有助于提升列车运行图调整动作之间的连贯性和可解释性，并能够进行分布计算，提高训练速度。

3.5　强化学习算法设计

强化学习算法作为智能体策略优化的核心驱动引擎，直接决定了策略的探索效率与收敛质量。结合编图问题特性，系统梳理主流算法及其适配场景。

（1）实验场景或小规模问题。目前强化学习在运行图编制问题中的应用研究还处于探索阶段，可采用一些基础性的强化学习算法，在实验场景中验证技术路线的可行性。这其中最有代表性的是基于价值学习的DQN算法^[22]和基于策略学习的PPO算法^[58]。

DQN在Q-Learning的基础上引入神经网络拟合Q^{*}(s，a)，解决了高维状态输入的问题。后续研究者们提出了一系列改进算法，旨在提高模型的稳定性、效率和泛化能力。彩虹DQN^[59]将多个改进方法集成到一个框架中，包括双重DQN、竞争DQN、优先经验回放、噪声网络和多步学习等，被视为DQN的一个完整版本。对于维度在{\mathrm{10}}^{\mathrm{2}}~{\mathrm{10}}^{\mathrm{3}}以内的离散动作空间问题，可优先采用DQN或彩虹DQN，快速验证方案可行性。对于连续动作或混合动作空间问题，则可采用PPO算法。PPO算法是在单调策略梯度算法和基于信赖域的策略优化算法基础上的改进，因其实现的简单性和良好的实际表现，成为深度强化学习任务中流行的选择。PPO算法一般与AC框架的算法结合使用，通过学习到的价值强化信号来增强策略学习的效率和稳定性。

（2）大规模动作空间问题。为解决大规模动作空间的探索和训练问题，需要结合各类算法和模型的优势，构建组合算法。AlphaGo成功融合了监督学习、策略优化、价值预测与模拟控制等多种组件，通过监督学习实现策略网络参数的预训练，策略梯度算法优化策略网络，自回归优化价值网络，在推理对弈阶段，通过蒙特卡洛树搜索输出最优动作。AlphaZero则完全依赖于自我对弈，无需人类先验知识，学习过程更为自动化。MuZero引入了隐式环境模型，不需要给定规则而是直接学习规则^[60]。运行图编制问题和围棋问题有很多共通性，例如都有已知且确定的环境模型和规则，都可以通过计算机进行准确模拟，都具有极大的状态空间和搜索深度，因此这类经过检验且已落地的组合算法具有很强的参考意义。

（3）基于环境模型的强化学习算法。基于环境模型的强化学习算法通过学习或直接获取环境模型T(s_{t+\mathrm{1}}|s_t,a_t)，预测未来的状态和奖励，从而帮助智能体更高效地学习和决策。运行图编制问题的环境和状态转移过程通常是确定性的，这使得基于模型的强化学习算法在理论上具有适用性。然而，目前在该方向仍缺乏相关研究。该类算法的优势在于可以模拟智能体与环境的交互，因而具有更高的样本效率。但由于运行图编制问题的状态空间庞大、搜索深度极深，仅依靠动态规划或蒙特卡洛树搜索等基础算法并不现实。此外，训练使用的环境模型如何具有通用性也是需要考虑的问题。

（4）多智能体算法。多智能体强化学习能够更自然地模拟现实世界涉及多个实体的问题，且能够进行大规模并行计算提升训练效率。在游戏领域，OpenAI Five^[25]和AlphaStar^[24]分别采用了多智能体算法框架，在具有复杂策略和大量状态空间的非静态、实时环境中，表现出人类所达到的高级策略能力，对运行图编制问题具有极高的参考价值。列车可以自然地被看作是相似的智能体，多智能体结合去中心化部分观测马尔可夫决策过程的框架^[61]理论上可显著降低状态空间大小，并提升模型泛化性能。如何界定局部状态空间的范围是首先要解决的问题，其次解决多智能体本身导致的训练不稳定问题，也需要极高的建模技术和大量调参工作。

4　面临的技术挑战和突破方向

强化学习在运行图编制问题中的应用正经历从理论验证向工程实践的关键跃迁。基于前文对强化学习编图范式核心组件的分析，结合运筹优化理论与人工智能技术发展趋势，深入剖析当前研究在技术突破和应用落地面临的挑战、路径与未来探索方向。

4.1　面临的技术挑战

（1）高维列车运行图状态空间的表征问题。在状态空间构建方式中，状态空间的维度由列车属性、车站属性、时间属性等观测特征的参数域通过笛卡尔积组合形成，会随观测特征的取值范围扩大呈指数级增长。这种高维特性会导致大规模问题的复杂度爆炸，引起强化学习算法的收敛速度急剧下降甚至失效。因此，未来研究的一个重点就是需要降低观测特征的维度，同时还要保留关键的特征信息，在避免信息损失的前提下，降低智能体探索状态空间的难度。

（2）多维组合编图动作空间的探索难题。运行图编制问题中列车到发时刻、股道选择等多维度的动作空间相互组合，构成高维度的组合动作空间，此时有效动作的密度随维度增加呈指数级衰减，导致智能体在初始随机探索巨大的动作空间时，发现有效正向奖励的动作概率趋近于零，在有限的时间内无法学习到有效策略。因此，需要在控制动作空间大小的同时设计合理的动作集合，使智能体能够大量获得正反馈，提高探索和学习效率。

（3）多专业协同下的编制目标优化。列车运行图编制任务需统筹运输、客运、货运、车站、机辆等多专业诉求，其优化目标具有多维性、动态性与竞争性特点，这些目标间的内在冲突使得传统人工设定固定权重的多目标优化方法难以适应动态场景需求，需构建动态多目标强化学习框架，通过技术路径实现专业诉求的自适应平衡。

（4）列车运行图编制场景的多样性挑战。列车运行图编制面临多场景适应挑战，其复杂性源于基础设施多样性和编图任务多样性，编图场景按基础设施范围可分为单线、双线、通道、局部路网和全局路网等，按编图任务可分为冲突疏解、增减列车、调整停站、重新铺画等，不同场景的输入输出差异显著，单一模型难以实现跨场景通用适配，需构建场景自适应强化学习框架。

（5）大规模编图问题的算力挑战。解决现实规模问题的强化学习算力需求可能非常庞大，假设一条具有100列车、10个车站的中等规模双线铁路场景，决策要素为列车在各车站到点、发点和股道，采用参数化动作空间的建模方式，其中每步到点、发点状态的变化范围为100 min，股道的变化范围平均为3种，每列车平均需要调整5次，则其在单智能体建模的决策树复杂度为\mathrm{203}{\mathrm{000}}^{\mathrm{500}}，运行图编制问题复杂度示例如表2所示。

在单智能体框架下，示例的运行图编制问题计算复杂度远高于围棋。在多智能体框架下，运行图编制问题复杂度和OpenAI Five在一个量级，低于AlphaStar。OpenAI Five的训练使用了256个GPU和128 000个CPU核心，在对抗世界冠军的训练中总共使用了770±50 PFlops的GPU算力。AlphaStar的训练使用32个TPU和44 d，而且是在有监督学习人类数十万次回放后开始训练的。因此对于运行图编制问题的规模化训练，个体研究者和小型研究机构可能无法承受训练的算力成本，需要借助算力中心或云算力平台。

4.2　突破方向和路径

（1）编图特征选择与压缩技术。针对列车运行图编制中高维状态空间问题，可设计列车运行图局部观测空间构建技术，在调整某列车时，只关注与其相邻的列车，因此可将全局列车运行图的状态空间按列车分解为邻域观测单元。以当前列车为中心，动态划定时空影响范围，仅保留邻域内列车状态与设施占用信息，减少全局搜索复杂度。

此外，可采用深度学习中的多头自注意力^[45]网络进行特征优化，其特点在于可将全局编图特征划分为冲突检测、时刻调整等多个与编图目标直接相关的子空间，每个子空间采用独立的特征分析模块进行学习，自动识别关键特征及重要性，使得在编图时只需聚焦于如冲突数量、发车时刻等一部分高价值编图特征，从而降低特征维度并提升算法效率。

（2）动作空间拆解与压缩技术。为降低动作空间大小，可采用编图核心动作多层次动作空间的设计方式以缓解维度灾难，例如对象层通过注意力网络定位关键列车，操作层通过封装领域知识形成组合编图动作或算子，参数层通过回归网络生成具体调整量。相对于冲突疏解模式，也可采用可行解生成模式，结合启发式规则或动作掩码^[36]，每次编制时都确保生成可行运行图，则智能体的策略无需关注冲突疏解等可行性指标，只需关注旅时、旅速等运行图质量指标，直接提升有效动作的密度。

（3）确定性列车运行图环境模型特性利用。运行图编制问题的一个重要特点就是环境模型的状态转移是确定性的，该特性为基于模型的强化学习提供理论基础。借鉴AlphaGo与AlphaZero在确定性环境中的成功经验，可将蒙特卡洛树搜索算法深度嵌入列车运行图编制框架。在推理应用阶段，策略网络生成候选动作(如时刻平移、股道切换)，价值网络评估方案的综合收益，蒙特卡洛树搜索算法则通过多步推演筛选最优路径，通过有限步长的前瞻性搜索平衡计算开销与方案质量。

（4）多样化编制场景迁移学习技术。针对运行图编制中基础设施复用性高、调度规则差异大的特点，可通过构建分层多任务学习框架，共享特征层与任务输出头的协同设计，例如采用图卷积网络提取路网拓扑的共性特征，同时为不同编图场景构建独立决策输出层，有望实现同基础设施的多场景知识共享与参数复用。

5　结论与展望

5.1　结论

铁路列车运行图编制是一个极具挑战的超大规模计划优化问题，研究围绕强化学习在铁路列车运行图编制中的应用开展系统综述与分析，主要结论如下。

（1）从理论建模层面看，利用强化学习求解列车运行图编制问题具有可行性。两者具有共同的理论和数学基础即马尔可夫决策过程，且运行图编制中的运行状态、决策及效益评估等要素能够与强化学习框架中的状态、动作和奖励等要素实现自然映射。

（2）从研究发展阶段看，当前强化学习在列车运行图编制领域的应用总体上仍处于探索阶段。现有研究已在案例中验证了方法的可行性与优势，展现出一定的拓展潜力，但仍存在场景规模较小、问题假设简化、要素覆盖不足等问题。

（3）在方法体系方面，对既有成果进行了梳理和比较，系统总结并提出列车运行图编制任务的5类状态空间构建方式与5类动作空间设计策略。同时结合奖励函数设计原则、神经网络结构特点及多种常用强化学习算法的适配分析，构建了完整的参考框架。

（4）归纳出强化学习在运行图编制任务中面临的主要挑战，并提出特征压缩与状态抽象、动作分层简化、基于模型的推理、多任务与元学习、知识蒸馏与轻量化架构等路径，为进一步研究提供了针对性的技术方向。

5.2　展望

当前，人工智能，尤其是深度学习、强化学习和多智能体协作等技术正加速演进。为顺应这一趋势，未来应及时跟进学术前沿并应用于运行图编制问题，以确保研究方向的科学性与成果的有效性。

（1）基于知识蒸馏的模型轻量化技术。对于训练完成的大参数完备编图模型，为在使用时提升可部署性和推理速度，可通过知识蒸馏技术^[62]构建师生模型架构实现参数压缩与知识迁移，形成小参数蒸馏编图模型，支撑车站、单线、通道和路网等各级别规模的编图场景。

（2）混合专家系统。混合专家模型^[63]将神经网络分解成多个专门的子网络或“专家”，已成为DeepSeek^[64]等大模型的核心组件。可将编制策略模型根据运输、客运、货运等专业或运行线、股道、交路、冲突疏解等要素划分为多专家，并依据门控网络动态分配专家权重，从而在各种应用中都能增强多目标处理能力。

（3）元学习快速场景适配技术。元学习通过赋予模型“学会学习”的内在能力，为列车运行图编制中的多任务场景提供快速适配路径。基于模型无关元学习框架^[65]，可在元训练阶段构建涵盖单线、双线等场景的任务分布，使智能体捕捉跨场景的共性决策模式，同时调整元模型初始参数以最大化跨任务泛化性。

（4）异构智能体协同架构。近来出现的智能实体AI Agent产品标志着AI向自主感知-决策-执行的闭环进化，可通过异构智能体的分工协作实现复杂编图问题的解耦优化和自主完成任务闭环。例如设计全局协调智能体负责全局任务把控和多模型整合调度，区域决策智能体负责区域运行线铺画，工具调用智能体负责完成运筹优化工具、仿真工具、编图系统、分析评价系统、报表生成工具等外部实体的调用，在远景阶段实现任务全链路自动化。

总体而言，未来列车运行图智能化的发展，将继续受益于人工智能与运筹优化等技术的协同融合。通过上述方向的持续突破，并在需求、数据、算法、算力等环节实现产学研协同，将有望构建具备广泛适应性和自主优化能力的编图系统，推动铁路运输组织向更高效、更灵活、更智慧的形态演进。

参考文献

[1] 祝建平，李 博，范家铭. 基于云平台的列车运行图编制系统设计及关键技术研究[J]. 铁道运输与经济，2023，45(12)：1-10.

[2] ZHU Jianping， LI Bo， FAN Jiaming. Design and Key Technology of Train Working Diagram Compilation System Based on Cloud Platform[J]. Railway Transport and Economy，2023，45(12)：1-10.

[3] 李心萍. 去年国家铁路发送旅客创历史新高[N]. 人民日报，2025-01-03(10).

[4] 蒋 辉，李 博，贺俊源. 基于人工智能的列车运行图智能编制技术体系框架研究[J]. 铁道运输与经济，2024，46(1)：1-9.

[5] JIANG Hui， LI Bo， HE Junyuan. Research on the Framework of Intelligent Train Working Diagram Compilation Technology System Based on Artificial Intelligence[J]. Railway Transport and Economy，2024，46(1)：1-9.

[6] CACCHIANI V， GALLI L， TOTH P. A Tutorial on Non-Periodic Train Timetabling and Platforming Problems[J]. EURO Journal on Transportation and Logistics，2015，4(3)：285-320.

[7] DE FABRIS S， LONGO G， MEDEOSSI G，et al. Automatic Generation of Railway Timetables Based on a Mesoscopic Infrastructure Model[J]. Journal of Rail Transport Planning & Management，2014，4(1-2)：2-13.

[8] BEŠINOVIĆ N， GOVERDE R， NICHOLSON G， et al. Review of Railway Timetabling Developments： Planning Phases， Goals and Future Directions[EB/OL]. (2021-07-22)[2025-01-22].

[9] YANG L X， QI J G， LI S K，et al. Collaborative Optimization for Train Scheduling and Train Stop Planning on High Speed Railways[J]. Omega，2016，64：57-76.

[10] XU X M， LI C L， XU Z. Integrated Train Timetabling and Locomotive Assignment[J]. Transportation Research Part B：Methodological，2018，117：573-593.

[11] ZHANG Q， LUSBY R M， SHANG P，et al. A Heuristic Approach to Integrate Train Timetabling，Platforming，and Railway Network Maintenance Scheduling Decisions[J]. Transportation Research Part B：Methodological，2022，158：210-238.

[12] HÖGDAHL J， BOHLIN M. A Combined Simulation-Optimization Approach for Robust Timetabling on Main Railway Lines[J]. Transportation Science，2022，57(1)：52-81.

[13] CAI X， GOH C J， MEES A I. Greedy Heuristics for Rapid Scheduling of Trains on a Single Track[J]. IIE Transactions，1998，30(5)：481-493.

[14] CACCHIANI V， CAPRARA A， TOTH P. A Column Generation Approach to Train Timetabling on a Corridor[J]. A Quarterly Journal of Operations Research，2008，6(2)：125-142.

[15] YUE Y X， YAN X C， WANG S F，et al. New Heuristic Algorithm Based on the Lagrangian Relaxation for a Real-World High Speed Railway Timetabling Problem[J]. Transportation Research Record：Journal of the Transportation Research Board，2024，2678(3)：502-516.

[16] YAO Z Y， NIE L， YUE Y X，et al. Network Periodic Train Timetabling with Integrated Stop Planning and Passenger Routing：A Periodic Time-Space Network Construct and ADMM Algorithm[J]. Transportation Research Part C：Emerging Technologies，2023，153：104201.

[17] CAPRARA A， MONACI M， TOTH P，et al. A Lagrangian Heuristic Algorithm for a Real-World Train Timetabling Problem[J]. Discrete Applied Mathematics，2006，154(5)：738-753.

[18] LEUTWILER F， CORMAN F. Set Covering Heuristics in a Benders Decomposition for Railway Timetabling[J]. Computers & Operations Research，2023，159：106339.

[19] 史 峰，黎新华，秦 进，等. 单线列车运行图铺划的时间循环迭代优化方法[J]. 铁道学报，2005，27(1)：1-5.

[20] SHI Feng， LI Xinhua， QIN Jin，et al. A Timing-Cycle Iterative Optimizing Method for Drawing Single-Track Railway Train Diagrams[J]. Journal of the China Railway Society，2005，27(1)：1-5.

[21] JIANG F， CACCHIANI V， TOTH P. Train Timetabling by Skip-Stop Planning in Highly Congested Lines[J]. Transportation Research Part B：Methodological，2017，104：149-174.

[22] CAPRARA A， FISCHETTI M， TOTH P. Modeling and Solving the Train Timetabling Problem[J]. Operations Research，2002，50(5)：851-861.

[23] TANG R F， DE DONATO L， BES̆INOVIĆ N，et al. A Literature Review of Artificial Intelligence Applications in Railway Systems[J]. Transportation Research Part C：Emerging Technologies，2022，140：103679.

[24] KAELBLING L P， LITTMAN M L， MOORE A W. Reinforcement Learning：A Survey[J]. Journal of Artificial Intelligence Research，1996，4(1)：237-285.

[25] MNIH V， KAVUKCUOGLU K， SILVER D，et al. Human-Level Control through Deep Reinforcement Learning[J]. Nature，2015，518(7540)：529-533.

[26] SILVER D， HUANG A， MADDISON C J，et al. Mastering the Game of Go with Deep Neural Networks and Tree Search[J]. Nature，2016，529(7587)：484-489.

[27] VINYALS O， BABUSCHKIN I， CZARNECKI W M， et al. Grandmaster Level in StarCraft II Using Multi-Agent Reinforcement Learning[J]. Nature，2019，575(7782)：350-354.

[28] OPENAI， BERNER C， BROCKMAN G，et al. Dota 2 with Large-Scale Deep Reinforcement Learning[EB/OL]. (2019-12-13)[2025-01-22].

[29] BAXTER L A. Markov Decision Processes：Discrete Stochastic Dynamic Programming[J]. Technometrics，1995，37(3)：353.

[30] ARULKUMARAN K， DEISENROTH M P， BRUNDAGE M，et al. Deep Reinforcement Learning：A Brief Survey[J]. IEEE Signal Processing Magazine，2017，34(6)：26-38.

[31] YOW A P， WONG D， ZHANG Y Q，et al. Artificial Intelligence in Optical Lens Design[J]. Artificial Intelligence Review，2024，57(8)：193.

[32] ŠEMROV D， MARSETIČ R， ŽURA M，et al. Reinforcement Learning Approach for Train Rescheduling on a Single-Track Railway[J]. Transportation Research Part B：Methodological，2016，86：250-267.

[33] KHADILKAR H. A Scalable Reinforcement Learning Algorithm for Scheduling Railway Lines[J]. IEEE Transactions on Intelligent Transportation Systems，2019，20(2)：727-736.

[34] NING L B， LI Y D， ZHOU M，et al. A Deep Reinforcement Learning Approach to High Speed Train Timetable Rescheduling under Disturbances[C]//2019 IEEE Intelligent Transportation Systems Conference (ITSC). New Zealand：IEEE，2019：3469-3474.

[35] ZHU Y Q， WANG H R， GOVERDE R M P. Reinforcement Learning in Railway Timetable Rescheduling[C]//2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC). Greece：IEEE，2020：1-6.

[36] OBARA M， KASHIYAMA T， SEKIMOTO Y. Deep Reinforcement Learning Approach for Train Rescheduling Utilizing Graph Theory[C]//2018 IEEE International Conference on Big Data (Big Data). Seattle：IEEE，2018：4525-4533.

[37] AGASUCCI V， GRANI G， LAMORGESE L. Solving the Train Dispatching Problem via Deep Reinforcement Learning[J]. Journal of Rail Transport Planning & Management，2023，26：100394.

[38] YANG F Y， YANG Y H， NI S Q，et al. Single-Track Railway Scheduling with a Novel Gridworld Model and Scalable Deep Reinforcement Learning[J]. Transportation Research Part C：Emerging Technologies，2023，154：104237.

[39] WU T， DONG W， YE H，et al. A Deep Reinforcement Learning Approach for Optimal Scheduling of Heavy-Haul Railway[J]. IFAC-PapersOnLine，2023，56(2)：3491-3497.

[40] TANG T， CHAI S M， WU W，et al. A Multi-Task Deep Reinforcement Learning Approach to Real-Time Railway Train Rescheduling[J]. Transportation Research Part E：Logistics and Transportation Review，2025，194：103900.

[41] LI W Q， NI S Q. Train Timetabling with the General Learning Environment and Multi-Agent Deep Reinforcement Learning[J]. Transportation Research Part B：Methodological，2022，157：230-251.

[42] YING C S， CHOW A H F， CHIN K S. An Actor-Critic Deep Reinforcement Learning Approach for Metro Train Scheduling with Rolling Stock Circulation under Stochastic Demand[J]. Transportation Research Part B：Methodological，2020，140：210-235.

[43] YING C S， CHOW A H F， WANG Y H，et al. Adaptive Metro Service Schedule and Train Composition with a Proximal Policy Optimization Approach Based on Deep Reinforcement Learning[J]. IEEE Transactions on Intelligent Transportation Systems，2022，23(7)：6895-6906.

[44] YUE P， JIN Y C， DAI X W，et al. Reinforcement Learning for Online Dispatching Policy in Real-Time Train Timetable Rescheduling[J]. IEEE Transactions on Intelligent Transportation Systems，2024，25(1)：478-490.

[45] 范文天，曾勇程，郭一唯，等. 基于强化学习的高铁列车运行图编制模型优化方法研究[J]. 铁道运输与经济，2025，47(1)：70-81.

[46] FAN Wentian， ZENG Yongcheng， GUO Yiwei，et al. Optimization Method of Train Working Diagram Compilation Model of High Speed Railways Based on Reinforcement Learning[J]. Railway Transport and Economy，2025，47(1)：70-81.

[47] WANG Y， FAN J M， HAN R H，et al. A Literature Review of Reinforcement Learning in Railway Timetabling[C]//The Proceedings of the 11th International Conference on Traffic and Transportation Studies. Singapore：Springer，2025：541-550.

[48] 田 锐，孟令云，王 维，等. 基于深度Q网络的高速铁路车站到发线运用冲突调整研究[J]. 铁道学报，2025，47(3)：1-9.

[49] TIAN Rui， MENG Lingyun， WANG Wei，et al. Research on Auto Conflict-Resolution of Arrival-Departure Track Utilization in Large High Speed Railway Stations Based on Deep Q-Network[J]. Journal of the China Railway Society，2025，47(3)：1-9.

[50] VASWANI A， SHAZEER N， PARMAR N，et al. Attention Is All You Need[C]//Advances in Neural Information Processing Systems. New York：Curran Associates，Inc.，2017：5998-6008.

[51] NG A， HARADA D， RUSSELL S J. Policy Invariance under Reward Transformations：Theory and Application to Reward Shaping[C]//International Conference on Machine Learning. San Francisco，CA：Morgan Kaufmann，1999：278-287.

[52] YANG D， TANG Y H. Adaptive Inner-Reward Shaping in Sparse Reward Games[C]//2020 International Joint Conference on Neural Networks (IJCNN). Glasgow，UK：IEEE，2020：1-8.

[53] SOVIANY P， IONESCU R T， ROTA P，et al. Curriculum Learning：A Survey[J]. International Journal of Computer Vision，2022，130(6)：1526-1565.

[54] RAMCHOUN H， AMINE M， IDRISSI J，et al. Multilayer Perceptron：Architecture Optimization and Training[J]. International Journal of Interactive Multimedia and Artificial Intelligence，2016，4(1)：26.

[55] SCARSELLI F， GORI M， TSOI A C，et al. The Graph Neural Network Model[J]. IEEE Transactions on Neural Networks，2009，20(1)：61-80.

[56] PRATES M， AVELAR P H C， LEMOS H，et al. Learning to Solve NP-Complete Problems：A Graph Neural Network for Decision TSP[J]. Proceedings of the AAAI Conference on Artificial Intelligence，2019，33(1)：4731-4738.

[57] YUE P， JIN Y C， DAI X W，et al. Reinforcement Learning for Scalable Train Timetable Rescheduling with Graph Representation[J]. IEEE Transactions on Intelligent Transportation Systems，2024，25(7)：6472-6485.

[58] LI Z W， LIU F， YANG W J，et al. A Survey of Convolutional Neural Networks：Analysis，Applications，and Prospects[J]. IEEE Transactions on Neural Networks and Learning Systems，2022，33(12)：6999-7019.

[59] YU Y， SI X S， HU C H，et al. A Review of Recurrent Neural Networks：LSTM Cells and Network Architectures[J]. Neural Computation，2019，31(7)：1235-1270.

[60] GREFF K， SRIVASTAVA R K， KOUTNÍK J，et al. LSTM：A Search Space Odyssey[J]. IEEE Transactions on Neural Networks and Learning Systems，2017，28(10)：2222-2232.

[61] DEY R， SALEM F M. Gate-Variants of Gated Recurrent Unit (GRU) Neural Networks[C]//2017 IEEE 60th International Midwest Symposium on Circuits and Systems (MWSCAS). Boston：IEEE，2017：1597-1600.

[62] VINYALS O， FORTUNATO M， JAITLY N. Pointer Networks[C]//Advances in Neural Information Processing Systems (NeurIPS 2015). Montreal：Curran Associates，2015：2692-2700.

[63] SCHULMAN J， WOLSKI F， DHARIWAL P，et al. Proximal Policy Optimization Algorithms[EB/OL]. (2017-07-20)[2025-01-21].

[64] HESSEL M， MODAYIL J， VAN HASSELT H，et al. Rainbow：Combining Improvements in Deep Reinforcement Learning[C]//Proceedings of the 32nd AAAI Conference on Artificial Intelligence (AAAI 2018). Palo Alto：AAAI Press，2018：3215-3222.

[65] SCHRITTWIESER J， ANTONOGLOU I， HUBERT T，et al. Mastering Atari，Go，Chess and Shogi by Planning with a Learned Model[J]. Nature，2020，588(7839)：604-609.

[66] BRETAS A M C， MENDES A， JACKSON M，et al. A Decentralised Multi-Agent System for Rail Freight Traffic Management[J]. Annals of Operations Research，2023，320(2)：631-661.

[67] GOU J P， YU B S， MAYBANK S J，et al. Knowledge Distillation：A Survey[J]. International Journal of Computer Vision，2021，129(6)：1789-1819.

[68] JACOBS R A， JORDAN M I， NOWLAN S J，et al. Adaptive Mixtures of Local Experts[J]. Neural Computation，1991，3(1)：79-87.

[69] DAI D M， DENG C Q， ZHAO C G，et al. DeepSeekMoE：Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models[C]//Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1：Long Papers). Stroudsburg：ACL，2024：1280-1297.

[70] FINN C， ABBEEL P， LEVINE S. Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. Sydney：ACM，2017：1126-1135.

基金资助

中国国家铁路集团有限公司科技研究开发计划课题(P2024X002)

中国铁道科学研究院集团有限公司科研项目(2024YJ154)