设置专用车道场景下快速路分流区智能网联车辆决策方法

Connected and automated vehicles decision⁃making method for expressway diversion areas with dedicated lanes

摘要

为了提高城市快速路分流区的交通运行效率，提出了设置网联自动驾驶专用车道的快速路分流区智能网联车辆（CAV）决策方法。改进了深度Q网络（DQN）算法，具体包括关注未来多时刻的空间状态，并考虑CAV运行速度和稳定性；设计了适用于设置CAV专用车道的快速路分流区多目标奖励函数，提出了设置网联自动驾驶专用车道的快速路分流区CAV跟驰和换道决策方法。利用Python搭建快速路分流区异质交通流仿真试验平台，进行CAV决策方法仿真对比验证，仿真结果表明，本文决策方法可有效降低CAV在快速路分流区的换道次数，提高CAV运行速度，提高快速路分流区异质交通流的运行效率。研究成果可为智能驾驶软件研发提供理论参考，同时可为城市快速路CAV专用车道设置提供决策依据。

Abstract

To enhance the operational efficiency of urban expressway diversion areas，a decision-making method for connected and automated vehicles （CAVs） was proposed for expressway diversion areas with dedicated CAV lanes. The Deep Q-Network （DQN） algorithm was improved by focusing on the spatial states of multiple future moments and taking the operation speed and stability of CAVs into consideration. A multi-objective reward function applicable to expressway diversion areas equipped with dedicated CAV lanes was designed， and a CAV car-following and lane-changing decision-making method was established for such expressway diversion areas with dedicated connected and automated driving lanes. A simulation platform for heterogeneous traffic flow in expressway diversion areas was developed based on Python for the simulation and comparative verification of the CAV decision-making method. Simulation results show that the proposed decision-making method can effectively reduce the lane-changing times of CAVs in urban expressway diversion areas， increase the operation speed of CAVs， and improve the operation efficiency of heterogeneous traffic flow in expressway diversion areas. Theoretical references can be provided for the research and development of intelligent driving software， and a decision-making basis can be offered for the layout of dedicated CAV lanes on urban expressways.

Graphical abstract

关键词

智能交通 / 快速路分流区 / 智能网联车辆专用车道 / 智能网联车辆决策方法 / 深度Q网络算法

Key words

intelligent transportation / expressway diversion areas / CAV lanes / CAV decision method / deep Q-net algorithms

0 引 言

智能网联自动驾驶技术的兴起，正以革命性的姿态重塑传统交通运输行业。该技术能够提升路网运行效率、减少道路交通事故、削减机动车尾气污染物排放，为构建高效、安全、低碳的未来综合交通体系提供关键支撑。在未来可预见的时期内，智能网联车辆（Connected and automated vehicles，CAV）与人工驾驶车辆（Human driven vehicles，HDV）将在道路上共存，形成一种复杂的异质交通流，且随着技术的发展和进步，道路中CAV的渗透率将不断提高。在这种情况下，由于CAV和HDV在信息感知等方面的差异，二者在城市道路中混行时，会产生许多交通冲突，影响交通流运行的安全和效率。为解决上述问题，设置CAV专用车道，并优化此场景下的CAV跟驰和换道行为尤为重要。

尽管已有研究着眼于CAV专用车道的设置，并提出了CAV跟驰和换道决策方法，但针对快速路分流区这一关键区域的研究却相对匮乏。作为交通系统中至关重要的组成部分，快速路分流区在引导和分散车流方面发挥着举足轻重的作用，对其进行管理和优化对于提高整个交通系统的运行效率具有重要意义。目前，对于面向异质交通流的CAV决策方法，以及对异质交通流建模仿真的研究取得了如下进展。

在异质交通流建模和运行特征分析方面，已有研究主要集中在对不同交通环境下CAV行为的分析。Mohajerpoor等^［1］提出模型分析AVs渗透率对预期头车间隔及其变化的影响。Yao等^［2］通过分析和模拟方法研究了连接式自动驾驶车辆（CAVs）最大车队规模对混合交通流特性的影响。Sun等^［3］提出了一种基于离散优化和双层动态规划的合作决策制定机制（CDMMT），用于解决混合交通中的匝道汇入问题。Cui等^［4］扩展了基于最优速度模型的跟驰模型，研究了不同技术装备车辆对异质交通流运行的影响。Zheng等^［5］提出了一个基于拉格朗日坐标的随机模型，模拟包含HVs和AVs的异质交通流。这些研究为交通流优化提供了理论支持，但大多集中在单一场景或理想条件下的分析，对于实际应用场景的复杂性考虑存在局限，尤其是在快速路分流区等关键区域的异质交通流建模与优化研究仍显不足。

在CAV跟驰和换道决策方法方面，Yang等^［6］构建了异质交通流变道环境并应用深度强化学习算法，训练CAV在与HDV的交互中完成变道；Li等^［7］提出基于Transformer的端到端模型，用于CAV的决策制定；Gao等^［8］提出CAV协同列队行驶和匝道并入主线的最优轨迹优化策略；Peng等^［9］提出了一种针对不同CAV渗透率的换道优化方法，分析了CAV换道行为和异质交通流的稳定性；Wang等^［10］通过DLIO离线训练和HMCTS在线优化，实现CAV在匝道上的时间最优协调控制。这些研究虽然实现了CAV的换道决策并提高了其运行效率，但大多仅面向异质交通流或CAV由匝道并入主线的换道行为，未针对CAV在网联自动驾驶专用车道上行驶及其离开主线进入匝道这一过程进行扩展研究。此外，现有研究在应用深度强化学习方法处理CAV换道决策问题时，通常没有全面考虑整个分流区系统的复杂性，包括CAV专用车道、主线上的通用车道、匝道以及车辆之间的相互作用。

综上所述，尽管现有研究广泛聚焦于CAV专用车道的设置及其对异质交通流的影响，并提出了多种CAV决策策略，但针对快速路分流区的深入研究和优化管理仍然不足。因此，本文针对设置CAV专用车道的城市快速路分流区异质交通流场景，基于深度Q网络（Deep Q-network，DQN）算法提出了CAV跟驰和换道决策方法。

1 基于DQN的CAV决策方法

1.1　CAV决策方法设计思路

本文研究场景为设置一条内侧式CAV专用车道（Connected and automated vehicle lanes， CAVL）的单向三车道城市快速路分流区。CAV在此场景中存在以下意图：在CAV专用车道上行驶；离开CAV专用车道进入主线上的通用车道（General-purpose lanes，GL）；离开主线进入匝道。在设置CAV专用车道（简称CAVL）后，CAV首先考虑CAVL是否饱和；若饱和，则进入通用车道行驶；反之，CAV进入CAVL。快速路分流区CAV决策流程如图1所示，具体如下所示。

（1）当CAV进入GL时，判断前方车辆是否处于影响自身保持原车道行驶的范围内，此影响范围通过比较目标车辆以期望速度，在期望超车总时间18 s^［11］内的行驶距离是否大于前车在此段时间的行驶距离确定，若小于则前车处于影响范围内，反之则前车不处于影响范围内。

若前车未在影响范围内，CAV继续保持原车道行驶；若在影响范围内，CAV继续判断前方车辆的速度是否大于自身速度，若前车速度大于CAV速度，则CAV保持原车道行驶；反之，CAV进入换道判断阶段。首先由最小安全距离计算模型^［12］判断换道是否安全，若不安全，则放弃换道，减速跟随前方车辆；若安全，对比奖励值决定换道方向，最终完成换道。

（2）当CAV距离分流区起点≤200 m时，若CAV无离开主线的期望，则保持上述原则继续行驶。反之，判断换道是否安全，若安全，执行提前换道；若不安全，则继续行驶，直至距离分流区起点为50 m时，若仍不满足换道条件，则服从“先到先服务原则”采取强制换道。

（3）当CAV进入CAVL时，若其无离开主线的期望，则保持跟驰行为在CAVL上行驶。若期望离开主线，则以（2）所述换道原则选择合适的换道时机。进入GL后采用（1）（2）所述跟驰和换道决策方法。

（4）仿真实验场景中，所有CAV采用（1）（2）（3）所述策略，直至行驶到终点，停止运行，循环流程为300次，用于仿真验证。

1.2　DQN算法改进

设置网联自动驾驶专用车道的快速路分流区CAV跟驰和换道决策方法可以转化为一个DQN算法控制智能体的问题，每个智能体在共享的环境中相互作用以达到各自或共同的目标。DQN算法通过预测和评估智能体在不同状态下所获得的价值Q来决定智能体的动作。当CAV进入快速路分流区仿真环境时的状态为s_t，采取动作a后进入下一时刻状态s_t+1，此时将s_t+1输入到Q网络中计算此状态下所有动作的Q值，获得最大的Q值加上奖励R作为更新目标，并计算损失w_i，，进一步更新Q网络。评估流程如图2所示。

利用时序差分法（Temporal difference，TD）^［13］表示DQN算法，如下所示：

Q(s_t,a)=Q(s_t,a)+\alpha \left[R+\gamma ·\underset{m}{\mathrm{m}\mathrm{a}\mathrm{x}}Q(s_{t+\mathrm{1}},a)-Q(s_t,a)\right]（1）

式中：Q（s_t，a）为预测价值函数；R+\gamma \underset{m}{\mathrm{m}\mathrm{a}\mathrm{x}}Q\left(s_{t+\mathrm{1}},a\right)为目标价值函数；s_t 为t时刻CAV的状态；s_t+1 为t+1时刻CAV的状态；a为t时刻CAV采取的动作；CAV的动作为加速、减速（包括停车）、匀速、换道和跟驰5种，因此m取5；α为步长，即每次更新的幅度；R为多目标奖励函数所计算的奖励值；γ为折扣因子，在本文中为超参数，设置为0.9，其代表对未来奖励的关注程度。

传统DQN算法考虑环境复杂程度较低，多在已知地图或静态障碍物模型下进行，难以应对设置CAV专用车道的快速路分流区异质交通流的实时变化。对此，本文首先需要考虑CAV在快速路分流区的行驶过程受多个时刻空间状态的影响，改进原DQN算法中仅考虑下一时刻状态，未考虑未来多时刻状态，使其更多地关注未来价值。

Q(s_t,a)=Q(s_t,a)+\alpha \left[R+\sum {\gamma }^k·\underset{m}{\mathrm{m}\mathrm{a}\mathrm{x}}Q(s_{t+k+\mathrm{1}},a)-Q(s_t,a)\right]（2）

式中：k为从仿真开始到结束的时刻数，本文假设每秒为一个时刻。

其次，需要结合CAV决策方法设计思路，改进DQN算法中的奖励函数R（R_n，w_i ），在保障CAV高效行驶的基础上，再引入车道选择奖励和提前换道奖励，使其适应设置CAV专用车道的快速路分流区的复杂程度。具体如下所示。

（1）车道选择奖励R_c。CAV进入仿真环境前根据CAVL饱和状态判断是否可以进入CAVL，如下所示。

R_{\mathrm{c}}=k_{\mathrm{c}}C（3）

式中：C为常数，为平衡各奖励值，本文C取1.0；k_c为车道选择奖励系数；若CAVL未饱和，则k_c取1，此时CAV进入CAVL获得奖励；若CAVL饱和，则k_c取-1，此时CAV进入CAVL受到惩罚。

（2）期望速度奖励R_ev。CAV行驶中追求期望速度，当低于期望速度的车辆位于前方影响范围内时，计算CAV当前速度v_ev与目标车道前车速度v_tv之比。利用最小安全距离模型计算换道安全距离，若不安全，则放弃对期望速度的追求，保持安全的跟驰行为：

R_{\mathrm{e}\mathrm{v}}=\frac{v_{\mathrm{e}\mathrm{v}}}{v_{\mathrm{t}\mathrm{v}}}（4）

（3）舒适减速度奖励R_cd。采用SITRAS模型^［14］判断换道条件并计算减速度，当目标车道前车在影响CAV的距离范围内时，奖励为CAV可接受减速度b_cd与目标车道前车减速度b_fv之比；当目标车道后车在影响CAV的距离范围内时，奖励为CAV可接受减速度b_cd与目标车道后车减速度b_lv之比。

R_{\mathrm{c}\mathrm{d}}=\left\{\begin{array}{c}{b}_{\mathrm{c}\mathrm{d}}/b_{\mathrm{f}\mathrm{v}}\\ b_{\mathrm{c}\mathrm{d}}/b_{\mathrm{l}\mathrm{v}}\end{array}\right.（5）

（4）安全距离奖励R_d。CAV换道前需判断此行为是否安全，或通过比较安全性决定换道方向。安全距离奖励为换道临界间隙s_CG与行驶安全距离s_safe之比，s_safe由最小安全距离模型确定。

R_{\mathrm{d}}=\frac{s_{\mathrm{C}\mathrm{G}}}{s_{\mathrm{s}\mathrm{a}\mathrm{f}\mathrm{e}}}（6）

（5）提前换道奖励R_elc。CAV在离开主线进入匝道时，距离分流区起点100~150 m^［15］开始换道对道路通行能力影响最佳。为避免交通流量过高时，CAV集中于100~150 m处进行换道造成交通拥堵，扩大提前换道范围为距离分流区起点50~200 m，超过此范围不可以换道，此奖励为：

R_{\mathrm{e}\mathrm{l}\mathrm{c}}=\left\{\begin{array}{c}{k}_{\mathrm{e}\mathrm{l}\mathrm{c}}x/D\begin{array}{cc},& x\le \mathrm{125}\end{array}\\ k_{\mathrm{e}\mathrm{l}\mathrm{c}}D/x\begin{array}{cc},& x>\mathrm{125}\end{array}\end{array}\right.（7）

式中：k_elc为奖励系数，当CAV距离分流区起点50 ~200 m换道时，k_elc=1；当CAV换道时未在范围内时，k_elc=-1；D为常数，本文取中间值D=125；x为CAV距离分流区起点的长度，m。

为避免仿真实验中发生极端情况，设置偏置项w₁、w₂、w₃、w₄约束CAV的行为，分别为CAV发生碰撞、连续换道、出界和位于实线处进行换道的惩罚。确定多目标奖励函数R（R_n，w_i ）具体形式为：

\begin{array}{l}R\left(R_n,w_i\right)=R_{\mathrm{c}}+R_{\mathrm{e}\mathrm{v}}+R_{\mathrm{c}\mathrm{d}}+R_{\mathrm{d}}+\\ R_{\mathrm{e}\mathrm{l}\mathrm{c}}+w_{\mathrm{1}}+w_{\mathrm{2}}+w_{\mathrm{3}}+w_{\mathrm{4}}\end{array}（8）

最终实现DQN算法在CAV决策方法上的应用，具体如下所示。

（1）独立CAV学习：每辆CAV都独立地使用DQN算法进行学习，而不考虑其他智能体的行为。

（2）集中式训练，分布式执行（Centralized training，decentralized execution，CTDE）：所有CAV的状态被集中起来训练一个全局的DQN，但在执行时，每辆CAV根据自己的局部状态独立选择动作。

2 仿真场景搭建

为验证本文CAV决策方法的可行性，结合城市快速路的设计规范，依托Python在开源自动驾驶仿真场景highway-env中搭建设置网联自动驾驶专用车道的城市快速路分流区仿真实验环境，该环境可准确模拟快速路分流区的各种交通状况，与实际交通场景较为相符。其边界条件包括：主线车道数量为3条，其中内侧1条为CAV专用车道，其余为通用车道；分流区上游长度为400 m，分流区长度为200 m，下游长度为200 m；匝道限速为40 km/h，主线限速为80 km/h，车辆总数为100 辆，CAV渗透率分别设置为40%、50%和60%，车头时距分别为0.6 s（CAV）和1.6 s（HDV）。环境中CAV能与道路传感通信控制设施，即路侧单元（Road side unit，RSU）网联通信，并受其控制，而HDV则由路侧单元通过传感器雷达等监测其行驶信息。其中，CAV的跟驰和换道行为由改进的DQN算法进行决策，HDV的换道行为采用SITRAS模型进行控制，且符合最小安全距离条件。为简化研究，具有驶离主线意图的HDV在距分流点100~150 m执行提前换道。HDV的跟驰行为采用考虑不同驾驶风格的智能驾驶员模型（Intelligent driver model，IDM）^［16］进行控制。

本文根据车辆的行为特点，将其轨迹数据划分为平稳跟驰行驶和加速（或减速）跟驰驾驶两种类型，从NGSIM原始数据中筛选出稳定跟车数据，设定NGSIM轨迹数据中速度低于4 km/h的数据点为车辆处于停止状态，车辆与前车车头间距保持在100 m或125 m以下且跟驰持续时间大于33 s时为车辆处于稳定跟驰状态^［17］。提取相应的驾驶行为事件轨迹数据，具体如下所示。

（1）提取平稳跟驰驾驶行为的轨迹数据。通过排除目标车辆轨迹中涉及变道、启动、制动以及加速或减速的行为事件，从而获得车辆平稳驾驶行为的轨迹数据。

（2）提取加速（或减速）跟驰驾驶行为的轨迹数据。首先，对车速变化进行检测，并提取车速变化前后3 s内的加速度数据。接着，评估车辆加速度的变化情况，判断加速（或减速）跟驰驾驶行为是开始还是结束，并提取有效的加速度数据。

（3）计算驾驶行为事件的特征数据。利用驾驶行为发生时刻的平均加速度和车头时距数据，作为衡量驾驶风格的关键指标。所提取的新数据集记录了车辆在平稳跟驰行驶和加速（或减速）跟驰行驶行为中的特征，每条数据记录包括目标车辆的识别号、位置、平均加速度、平均车头时距和驾驶行为发生的时间信息，如表1所示。

对比多组考虑不同因素的分类结果显示，选取车辆加速度和车头时距进行驾驶风格分类效果最为明显。采用K-means算法对车辆跟驰行为数据进行聚类分析，将驾驶风格分为激进型、普通型和保守型3类。聚类结果如图3所示，在加速度相近的情况下，聚类1具有更小的车头时距，而聚类3具有更大的车头时距，即聚类1的驾驶人具有更激进的驾驶行为，聚类3的驾驶人具有更保守的驾驶行为。因此，认为聚类1的驾驶人为激进型，聚类2的驾驶人为普通型，聚类3的驾驶人为保守型。最终，利用遗传算法得到不同驾驶风格特征值，应用于IDM模型标定，如表2所示。

3 CAV决策方法对比验证

3.1　确定仿真实验CAV渗透率

文献［18］提出了面向CAV专用车道的道路通行能力理论计算模型，如下所示：

C_a=l_a^{\text{'}}{C}_{\mathrm{C}\mathrm{A}\mathrm{V}L}+\left(l_a-l_a^{\text{'}}\right)C_{\mathrm{G}\mathrm{L}}=l_a^{\text{'}}\frac{\mathrm{3600}}{H_{\mathrm{C}\mathrm{A}\mathrm{V}}}+\left(l_a-l_a^{\text{'}}\right)\frac{\mathrm{3600}}{{\tilde{p}}_a{H}_{\mathrm{C}\mathrm{A}\mathrm{V}}+\left(\mathrm{1}-{\tilde{p}}_a\right)H_{\mathrm{H}\mathrm{D}\mathrm{V}}}（9）

式中：C_a 为路段a通行能力，veh/h；C_CAVL 为CAV专用车道通行能力，veh/h；l_a 为路段a总车道数，条；l_a^{\text{'}}为路段a的CAV专用车道数，条；{\tilde{p}}_a为通用车道上CAV渗透率，%；H_CAV为CAV的最小安全车头时距，s；H_HDV为HDV的最小安全车头时距，s。

本文研究场景中，涉及CAV驶离主线，使分流区上、下游主线上的通用车道（General-purpose lanes，GL）在CAV渗透率上存在差异。在此条件下，分别计算快速路分流区上、下游主线的通行能力，因分流区中车辆的交互行为较多，CAV渗透率变化较为频繁，不作考虑。基于以上，本文所需考虑的变量如表3所示。

在设置CAV专用车道的条件下，分别计算分流区上、下游通用车道的CAV渗透率为：

P_{\mathrm{u}\mathrm{p}}=\frac{m·P_{\mathrm{r}}^{\text{'}}·P_{\mathrm{C}\mathrm{A}\mathrm{V}}^{\text{'}}+\mathrm{m}\mathrm{a}\mathrm{x}\left\{\mathrm{0},m·P_{\mathrm{C}\mathrm{A}\mathrm{V}}-m_{\mathrm{C}\mathrm{A}\mathrm{V}L}\right\}}{m}（10）

P_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}=\frac{(\mathrm{1}-P_{\mathrm{r}}^{\text{'}}·P_{\mathrm{C}\mathrm{A}\mathrm{V}}^{\text{'}})·\mathrm{m}\mathrm{a}\mathrm{x}\left\{\mathrm{0},m·P_{\mathrm{C}\mathrm{A}\mathrm{V}}-m_{\mathrm{C}\mathrm{A}\mathrm{V}L}\right\}}{m}（11）

式中：P_up、P_down分别为分流区上、下游通用车道路段上的CAV渗透率，%；m为仿真环境中的车辆总数，辆；m_CAVL 为CAV专用车道容量，辆。

由以上可得快速路分流区的CAV专用车道，以及上、下游通用车道的通行能力分别为：

C_{\mathrm{C}\mathrm{A}\mathrm{V}L}=l_{\mathrm{C}\mathrm{A}\mathrm{V}L}\mathrm{3600}/H_{\mathrm{C}\mathrm{A}\mathrm{V}}（12）

C_{\mathrm{u}\mathrm{p}}=l_{\mathrm{G}\mathrm{L}}\frac{\mathrm{3600}}{P_{\mathrm{u}\mathrm{p}}\times H_{\mathrm{C}\mathrm{A}\mathrm{V}}+\left(\mathrm{1}-P_{\mathrm{u}\mathrm{p}}\right)\times H_{\mathrm{H}\mathrm{D}\mathrm{V}}}（13）

C_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}=l_{\mathrm{G}\mathrm{L}}\frac{\mathrm{3600}}{P_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}\times H_{\mathrm{C}\mathrm{A}\mathrm{V}}+\left(\mathrm{1}-P_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}\right)\times H_{\mathrm{H}\mathrm{D}\mathrm{V}}}（14）

式中：C_up、C_down分别为分流区上、下游通用车道的通行能力，veh/h；l_CAVL 为CAV专用车道数量，条；l_GL为通用车道车道数量，条。

在未设置CAV专用车道的条件下，分别计算分流区上、下游主线的CAV渗透率为：

P_{\mathrm{u}\mathrm{p}}^{\text{'}}=P_{\mathrm{C}\mathrm{A}\mathrm{V}}（15）

P_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}^{\text{'}}=P_{\mathrm{C}\mathrm{A}\mathrm{V}}-P_{\mathrm{r}}^{\text{'}}\times P_{\mathrm{C}\mathrm{A}\mathrm{V}}^{\text{'}}（16）

式中：P_{\mathrm{u}\mathrm{p}}^{\text{'}}为分流区上游主线的CAV渗透率，%；P_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}^{\text{'}}为分流区下游主线的CAV渗透率，%。

未设置CAV专用车道的快速路分流区上、下游的通行能力为：

C_{\mathrm{u}\mathrm{p}}^{\text{'}}=l_{\mathrm{m}}\frac{\mathrm{3600}}{P_{\mathrm{u}\mathrm{p}}^{\text{'}}\times H_{\mathrm{C}\mathrm{A}\mathrm{V}}+\left(\mathrm{1}-P_{\mathrm{u}\mathrm{p}}^{\text{'}}\right)\times H_{\mathrm{H}\mathrm{D}\mathrm{V}}}（17）

C_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}^{\text{'}}=l_{\mathrm{m}}\frac{\mathrm{3600}}{P_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}^{\text{'}}\times H_{\mathrm{C}\mathrm{A}\mathrm{V}}+\left(\mathrm{1}-P_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}^{\text{'}}\right)\times H_{\mathrm{H}\mathrm{D}\mathrm{V}}}（18）

式中：C_{\mathrm{u}\mathrm{p}}^{\text{'}}、C_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}^{\text{'}}分别为分流区上、下游的通行能力，veh/h；l_{\mathrm{m}}为主线车道数，条。

本文假设初始状态下，所有车辆处于理想状态下运行，且均位于主线上，CAV专用车道饱和。当CAV渗透率低于30%时，设置CAV专用车道会加剧交通拥堵^［19］。因此，本文以CAV渗透率为30%作为计算起点，并设置HDV的车头时距为1.6s^［20］，CAV的车头时距为0.6 s^［21］。

分别计算分流区上、下游设置CAV专用车道和未设置CAV专用车道在不同CAV渗透率下的通行能力。为便于计算，CAV渗透率均取到小数点后一位。计算结果如图4所示，当CAV渗透率为30%~70%时，设置CAV专用车道的快速路分流区上、下游通行能力较高。因此，本文基于道路通行能力计算给出仿真实验中需设置的CAV渗透率为30%~70%，以此验证设置网联自动驾驶专用车道的快速路分流区CAV跟驰和换道决策方法。

3.2　仿真实验结果分析

本文对交通流、车辆类型、车道划分等方面进行了以下基本设定：

（1）本文的异质交通流指CAV与HDV小型客车共同行驶的交通流；

（2）城市道路被划分为两种类型：一种是CAV专用车道，这种车道仅允许CAV行驶；另一种是通用车道，CAV和HDV都可以在这些车道上行驶。

设置两组CAV决策方法，一组为“highway-env documentation”开源库中所应用的DQN算法，其在仿真环境中创建了连续的动作空间，并可控制车辆的横向和纵向动作，其主要关注CAV行驶目的地和速度，未考虑CAV专用车道的设置（简称HDQN）；另一组为本文结合分流区和CAV专用车道特点，改进奖励函数的DQN算法（简称EDQN）。由上文可得，仿真实验中，P_CAV为30%~70%，n_CAVL 为1。因此，设置P_CAV分别为40%、50%、60%，P_{\mathrm{r}}^{\text{'}}为8%，P{}_{\mathrm{C}\mathrm{A}\mathrm{V}}^{\text{'}}为50%，通过仿真路段的车辆总数为100辆。因仿真场景存在随机性，本文进行300组实验，并随机抽样出100组，对比分析仿真实验时段中所有CAV总换道次数的平均值、平均运行速度，和异质交通流的平均运行速度，验证本文CAV决策方法的可行性，如图5和图6所示。

100组仿真实验结果的平均值，如表4所示。结果表明，3种CAV渗透率条件下，EDQN算法较HDQN算法在CAV换道次数方面分别降低了65%、42.55%、22.02%；在CAV平均运行速度方面分别提高了11.73%、3.74%、1.71%；在异质交通流平均运行速度方面分别提高了11.61%、7.42%、0.70%。其原因在于，控制不期望驶离主线的CAV保持在网联自动驾驶专用车道上行驶，避免了CAV为追求期望速度而频繁换道，且网联自动驾驶专用车道上的CAV车流运行效率更高，进一步提高了CAV的平均车速。所降低的CAV换道次数也为HDV创造了更为舒适的驾驶环境，从而提高了整个异质交通流的运行速度。以上验证了本文CAV跟驰和换道决策方法的可行性。体现了本文改进DQN算法通过扩展价值函数的时间维度，使CAV能够更全面地评估决策的长期效益，减少因换道不当导致的交通延误和潜在冲突。多目标奖励函数的设计考虑了车辆行驶效率与安全，以及快速路分流区的复杂交通环境，使CAV在分流区的异质交通流中可以高效、安全运行，增强了CAV在动态环境中的适应能力。

随着CAV渗透率的提高，EDQN算法中的CAV平均车速有所降低，异质交通流运行速度相较HDQN算法的提高逐渐减小。其原因在于网联自动驾驶专用车道随着CAV渗透率的提高而趋于饱和，因此在通用车道上行驶的CAV增多，其运行效率低于在CAV专用车道上行驶。进一步说明CAV专用车道设置条件，即CAV渗透率应存在上限，给未来针对快速路分流区CAV专用车道设置条件的研究打下基础。

3.3　实际应用讨论

在实际应用中，为确保CAV能够准确执行决策方法，CAV通常配备先进的传感器（如激光雷达、毫米波雷达和摄像头）以及V2X通信技术。这些技术能够实时获取车辆周围环境信息和交通信号，为决策策略的执行提供数据支持。同时，在实际部署前，CAV的决策方法需要经过大量的模拟训练和封闭场地测试。通过模拟各种复杂交通场景，验证方法的有效性和安全性。本文提出的决策方法在设计时已考虑了现有法规的基本要求。比如，CAV的换道行为严格遵循安全距离和最小超车时间等法规要求，避免了与人工驾驶车辆的潜在冲突。

4 结束语

本文针对设置CAV专用车道的城市快速路分流区，提出了基于改进DQN算法的CAV决策方法，并仿真验证了该策略的可行性，研究结果表明：①相比于传统DQN算法，本文所改进的DQN算法使CAV在运行稳定性和速度方面的表现明显提升，进而显著提升了快速路分流区异质交通流的运行效率；②不同CAV渗透率下的对比结果表明，CAV渗透率越高，则快速路分流区中的车辆运行环境越佳。因此，CAV的引入对于异质交通流运行效率有着正向影响，可以改善快速路合流区的交通运行状况；③为确保快速路分流区异质交通流的运行效率，设置智能网联专用车道的条件，即CAV渗透率应存在上限，该研究成果可为城市快速路分流区CAV专用车道的布设标准与适用条件提供参考依据。此外，本文方法针对的是快速路分流区场景，通过设计和调整奖励函数，并进行训练和优化，可使其适应其他类似或不同交通场景。

参考文献

[1] Mohajerpoor R, Ramezani M. Mixed flow of autonomous and human-driven vehicles: analytical headway modeling and optimal lane management[J]. Transportation Research Part C: Emerging Technologies, 2020, 109: 194-210.

[2] Yao Z H, Wu Y X, Wang Y, et al. Analysis of the impact of maximum platoon size of CAVs on mixed traffic flow: an analytical and simulation method[J]. Transportation Research Part C: Emerging Technologies, 2023,147: No.103989.

[3] Sun Z B, Huang T Y, Zhang P T. Cooperative decision-making for mixed traffic: A ramp merging example[J]. Transportation Research Part C: Emerging Technologies, 2020,120: No.102764.

[4] Cui S H, Cao F, Yu B, et al. Modeling heterogeneous traffic mixing regular, connected, and connected-autonomous vehicles under connected environment[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(7): 8579-8594.

[5] Zheng F F, Liu C, Liu X B, et al. Analyzing the impact of automated vehicles on uncertainty and stability of the mixed traffic flow[J]. Transportation Research Part C: Emerging Technologies, 2020,112: 203-219.

[6] Yang H, Wei Z Q, Feng Z Y, et al. Intelligent computation offloading for MEC-based cooperative vehicle[J]. IEEE Transactions on Intelligent Transportation Systems, 2022,71(7): 7665-7679.

[7] Li G F, Qiu Y F, Yang Y F . et al. Lane change strategies for autonomous vehicles: a deep reinforcement learning approach based on transformer[J]. IEEE Transactions on Intelligent Vehicles, 2023, 8(3): 2197-2211.

[8] Gao Z B, Wu Z Z, Hao W, et al. Optimal trajectory planning of connected and automated vehicles at on-ramp merging area[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(8):12675- 12687.

[9] Peng J L, Wei S G, Chai L G.Strategy of lane-changing coupling process for connected and automated vehicles in mixed traffic environment[J].Transportmetrica B: Transport Dynamics, 2023, 11(1): 979-995.

[10] Wang B W, Gong X L, Lyu P Y, et al. Iterative learning-based cooperative motion planning and decision-making for connected and autonomous vehicles coordination at on-ramps[J]. IEEE Transactions on Intelligent Transportation Systems, 2024, 25(7):8105-8120.

[11] 戢晓峰, 徐迎豪, 郝京京, 等.双车道公路超车行为风险演化时间协变量建模[J].西南交通大学学报,2025, 60(5): 1240-1249.

[12] Ji Xiao-feng, Xu Ying-hao, Hao Jing-jing, et al. Time covariate modeling of overtaking behavior risk evolution on two-lane highway[J].Journal of Southwest Jiaotong University, 2025, 60(5): 1240-1249.

[13] Fan J Y, Liang J, Tula A K. A lane changing time point and path tracking framework for autonomous ground vehicle[J]. IET Intelligent Transport Systems, 2022, 16(7): 860-874.

[14] Araghi S, Khosravi A, Abbas, et al. A review on computational intelligence methods for controlling traffic signal timing[J]. Expert Systems with Applications, 2015, 42(3): 1538-1550.

[15] Hidas P. Modelling lane changing and merging in microscopic traffic simulation[J]. Transportation Research Part C: Emerging Technologies, 2002,10(5):351-371.

[16] 李锐, 冉斌, 曲栩. 车路协同环境城市快速路分流区通行能力提升策略[J].交通运输工程学报, 2022,22(3): 126-138.

[17] Li Rui, Ran Bin, Qu Xu. Traffic capacity enhancement strategy for urban expressway diversion area under vehicle-infrastructure cooperative environment[J]. Journal of Traffic and Transportation Engineering, 2022, 22(3): 126-138.

[18] Cui S H, Cao F, Yu B, et al. Modeling heterogeneous traffic mixing regular, connected, and connected-autonomous vehicles under connected environment[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(7): 8579-8594.

[19] Zheng F F, Liu C, Liu X B, et al. Analyzing the impact of automated vehicles on uncertainty and stability of the mixed traffic flow[J]. Transportation Research Part C: Emerging Technologies, 2020, 112: 203-219.

[20] 郝威, 张兆磊, 吕能超, 等. 考虑CAV专用车道的混合交通分配模型[J]. 中国公路学报, 2023, 36(10):317-327.

[21] Hao Wei, Zhang Zhao-lei, Neng-chao Lyu, et al. Mixed traffic assignment model based on autonomous driving lanes[J]. China Journal of Highway and Transport, 2023, 36(10): 317-327.

[22] Lin X, Wang M, Arem B V. Traffic flow impacts of converting an HOV lane into a dedicated CACC lane on a freeway corridor[J]. IEEE Intelligent Transportation Systems Magazine, 2020, 12(1): 60-73.

[23] Vicente M, Shladover S E. Modeling cooperative and autonomous adaptive cruise control dynamic responses using experimental data[J]. Transportation Research Part C: Emerging Technologies, 2014,48:285-300.

[24] Shladover S, Su D, Lu X Y. Impacts of cooperative adaptive cruise control on freeway traffic flow[J]. Transportation Research Record, 2012, 2324: 63-70.

基金资助

中央高校基本科研业务费专项资金项目(2572023CT21)

国家自然科学基金项目(52378433)