结合评价模型与多Q值SAC的交叉口信号控制方法

摘要

针对基于深度强化学习的交叉口信号控制方法存在训练用时长、难以及时适应流量变化的问题，提出结合评价模型的多Q值软演员评论家(Multi-Q SAC)深度强化学习信号控制方法.通过大量重复VISSIM仿真获得的数据，建立交通信号控制方案的评价模型，使强化学习与微观仿真软件解耦，模型训练速度有了大幅提升.以模型输出的评价指标作为多Q值SAC算法的状态，将其中3个代表性的指标进行加权，作为多Q值SAC算法的奖励.实验结果表明，相较于传统的Webster配时法及其他策略类强化学习算法，所提方法能显著提高交叉口的交通服务水平，且优化速度也能适应交通流量的复杂变化.

关键词

智能交通 / 交通信号控制 / 深度强化学习 / 评价模型 / 软演员评论家算法

基金资助

福建省自然科学基金资助项目(2020J05029); 中央引导地方科技发展专项基金资助项目(2022L3007)