改进DQN算法的单点交叉口信号控制方法

陈秀锋; 王成鑫; 赵凤阳; 杨凯; 谷可鑫

doi:10.16088/j.issn.1001-6600.2023110105

广西师范大学学报（自然科学版） ›› 2024, Vol. 42 ›› Issue (06) : 81 -88. DOI: 10.16088/j.issn.1001-6600.2023110105

改进DQN算法的单点交叉口信号控制方法

陈秀锋, 王成鑫, 赵凤阳, 杨凯, 谷可鑫

作者信息 +

Author information +

文章历史 +

PDF

摘要

为提升单交叉口信号控制效率，针对深度强化学习算法中交通状态刻画不准确以及经验池采样效率低的问题，本文提出一种改进DQN(deep Q network)信号控制算法。考虑车辆长度、元胞与停车线之间距离和检测器数量，构建元胞长度非均匀划分状态空间，以精确刻画道路交通状态；引入依概率采样优先经验回放改善算法的收敛性，设计动态ε贪婪策略优化迭代进程以提高算法学习效率。基于SUMO建模进行实验验证，结果表明：本文改进DQN算法获得更优的信号控制效果，相比传统DQN算法，低峰时段车辆累积延误和平均排队长度分别降低83.63%、83.48%,高峰时段两项指标分别降低94.88%、94.87%。