基于分层多智能体强化学习的个性化与信号控制联合路径引导方法

摘要

为进一步缓解交通拥堵、提高道路通行能力，本研究基于分层多智能体强化学习提出一种联合个性化引导和交通信号控制的城市车辆路径引导方法：在交叉路口放置路径引导智能体和信号控制智能体，用于提供个性化路径引导策略和优化信号灯控制，平衡城市交通流量。为了克服预定义的图结构在表示动态交通状态特征时的局限性，信号控制智能体使用自适应图卷积网络挖掘同层次智能体间空间相关性；路径引导智能体结合平均场博弈，分析车辆平均动作以有效捕捉车辆之间的交互作用，实现车辆之间协调，并根据车辆的目的地为车辆提供个性化路径引导策略；为预防局部交通拥堵和交通严重不平衡，基于MAPPO(multi-agent proximal policy optimization)算法，通过集中式训练和分布式执行实现信号控制智能体之间的合作，以实现路径引导中方向的限流；基于分层强化学习方法，实现异质智能体之间信息的共享、交流以促进它们之间的协作。为验证本研究方法的效果，基于多种真实的开源交通数据集，在SUMO仿真平台上进行试验，并与多种基线方法进行比较。结果表明，本研究所提方法将车辆的平均行程时间最少缩短11.05%,平均延误时间最少减少19.90%,有效地提高了城市车辆通行效率。

关键词

强化学习 / 路径引导 / 信号控制 / 平均场博弈 / 自适应图卷积