基于多智能体通信的城市交通信号控制研究

摘要

针对城市交通信号控制中多智能体之间缺乏有效的协作而无法及时作出正确决策的问题，提出一种基于多智能体通信的深度强化学习算法—TC-MA2C,在多智能体A2C算法上建立通信机制，实现智能体之间相互交流以及协作.首先，通过全连接层将智能体的隐藏状态、观测到的局部状态以及策略进行信息编码，再通过门控循环单元(GRU)层进行信息提取；其次，在策略网络中加入通信调度器，协调和安排智能体之间的通信；最后，将提取的信息与权重信息一起输入调度器，调度器根据权重的不同决定与其他智能体通信的顺序和时机.在SUMO上的实验结果表明：TC-MA2C算法在训练过程中可以获得更高的奖励，能够有效减少交叉口车辆排队长度和车均延误，并且收敛速度更快，更加稳定.

关键词

多智能体通信 / 交通控制 / 通信调度

基金资助

新疆维吾尔自治区自然科学基金资助项目(2022D01C430); 国家自然科学基金资助项目(51468062)