基于深度强化学习的匝道合流区车辆自主换道方法

摘要

【目的】解决主线网联自动驾驶车辆（connected and autonomous vehicle,CAV）在匝道合流区的交通冲突问题。【方法】提出一种基于深度双重Q网络（double-deep Q network,DDQN）算法的CAV自主换道控制方法。首先，构建包含CAV、相邻车辆及匝道车辆的交通状态矩阵，并通过引入虚拟车辆解决状态空间矩阵维度缺失问题，实现状态矩阵维度的统一；然后，针对CAV换道行为对目标车道上游车流产生的负效应，在DDQN算法的奖励函数中引入上游车辆速度与紧急制动特征，实现对车辆自身效益与交通流整体状态的联合优化，提升换道过程的安全性；最后，针对单主线双车道的高速公路匝道合流场景，通过仿真试验验证所提方法的有效性。【结果】与经典的2013版换道模型（lane-changing model 2013,LC2013）相比，所提方法在保障CAV通行效率的前提下，将紧急制动次数减少了49.8%；与未考虑后车影响的基础DDQN算法相比，所提方法将紧急制动次数减少了15.8%。敏感性分析进一步证实，在不降低CAV行驶速度的前提下，增大安全权重可使CAV自身的紧急制动次数减少16.4%，并使跟随车辆的紧急制动次数减少46.6%。【结论】所提方法在保证交通效率的同时能够有效提升匝道合流区的交通安全水平。

关键词

智能交通 / 换道决策 / 深度强化学习 / 匝道合流区 / 自动驾驶车辆