基于改进双重深度Q网络的交通信号控制

摘要

深度强化学习算法被广泛用于解决具有空间复杂性、时序随机性的交通信号控制问题。然而，现有深度强化学习算法中的神经网络提取交通特征的能力不足，难以全面解析复杂交通场景下的时空信息。为了更好地缓解交通拥堵压力，提出一种基于改进双重深度Q网络的交通信号控制算法。该算法以基于经验策略的深度强化学习算法为基础，通过在卷积神经网络中构建全局空间建模机制和时序记忆增强机制，深度挖掘路网空间关联信息，准确捕捉车流时序依赖关系，全面提取路网环境的空间特征和时间特征，从而输出高效的交通信号控制决策。在SUMO仿真平台上的实验结果表明，该算法可减少车辆等待数量、缩短车辆平均等待时间，有效提高交通系统运行效率。

关键词

深度强化学习 / 交通信号控制 / 卷积神经网络 / 改进双重深度Q网络

基金资助

国家重点研发计划“社会治理与智慧社会科技支撑”重点专项(2022YFC3302502)