基于Level-K的智能驾驶汽车无信控交叉路口决策方法

Uncontrolled intersections decision⁃making method for intelligent driving vehicles based on Level⁃K

摘要

为了使智能驾驶汽车安全、合理地通过无信控交叉路口，提出了一种基于Level-K博弈模型的序贯决策方法。首先，通过轨迹预测和车辆间的相关性分析，对车辆推理等级进行初始划分，在此基础上，将序贯优先级概念引入改进的Level-K博弈框架中，从而构建无信控交叉路口决策模型。其次，为减少车辆间不必要的交互、降低决策模型计算的复杂度，提出了一种博弈起止判别机制，对参与博弈的对象进行动态筛选。同时，为了保证决策的安全性，又提出了一种矩形车辆模型，对车辆的碰撞风险进行评估。最后，通过实验验证本文方法的有效性。结果表明，本文方法可以有效避免潜在碰撞风险，使智能驾驶汽车能够安全、合理地通过交叉路口。

Abstract

To ensure the safe and reasonable passage of intelligent driving vehicles through uncontrolled intersections， a sequential decision-making method based on the Level-K game model was proposed. Firstly， the initial classification of vehicle reasoning levels was conducted through trajectory prediction and correlation analysis among vehicles. On this basis， the concept of sequential priority was introduced into the improved Level-K game framework to construct decision-making model for uncontrolled intersections. Secondly， to reduce unnecessary interactions among vehicles and lower the computational complexity of the decision-making model， a game start and end discrimination mechanism was proposed to dynamically screen the objects participating in the game. Meanwhile， to ensure the safety of the decision-making， a rectangular vehicle model was proposed to assess the collision risk of vehicles. Finally， the effectiveness of the proposed method was verified through experiments. The results show that the interactive decision-making method proposed can effectively avoid potential collision risks and enable intelligent driving vehicles to pass through intersections safely and reasonably.

Graphical abstract

关键词

车辆工程 / 智能驾驶汽车 / 轨迹预测 / 博弈理论 / 无信控交叉路口

Key words

vehicle engineering / intelligent driving vehicles / trajectory prediction / game theory / uncontrolled intersection

0 引　言

尽管目前自动驾驶技术的研究已经取得了显著的成果，但现有技术主要针对并车、超车等一般场景下的自动驾驶^［1-3］，对于无信控交叉路口这类典型的复杂场景的研究较少。据调查^［4，5］，约40%的交通事故发生在无信控交叉路口这一场景下。因此，如何使智能驾驶汽车符合人类驾驶员的驾驶逻辑，做出能够被其他交通参与者理解的决策行为，并在与其他车辆的持续交互中有效规避潜在的碰撞风险，实现无信控交叉路口安全、高效的通行，成为亟待解决的难题。

无信控交叉路口通行是一个持续交互的复杂过程，具有很高的动态性，且对决策安全提出了极为严苛的要求^［6］。过于激进或保守的策略在这一场景下都存在一定的弊端，近些年，大量专家学者针对该问题进行了研究。Li等^［7］针对参数化无信控交叉路口，提出了基于领导者-追随者主从关系的动态博弈模型，并提出了随机动作探索方法，用于打破车辆间的对称性。在此基础上，Tian等^［8］进一步提出了基于模仿学习的k级控制策略获取算法，用于处理交叉路口的决策问题，相较于文献［7］的模型，该算法能够处理更多类型的交叉路口和车辆的交互问题。Jia等^［9］提出了一种多因素交互决策方法，建立了可切换的博弈模式，提高了决策的交互性和类人性。Sankar等^［10］提出了一种基于自适应鲁棒博弈理论的自主车辆驾驶行为决策方法，并采用Level-K博弈方法对场景中车辆间的相互作用建模，解决了决策过于保守的问题。

综上可知，基于博弈理论的交互式决策算法具有高交互性、高拟人度的优势，更适合处理无信控交叉路口的车辆决策问题。同时，相较于其他博弈模型，Level-L模型能够描述人类在战略博弈中的思维过程。因此，本文将基于Level-K博弈理论对无信控交叉路口的决策问题进行研究，并通过仿真实验验证本文方法的合理性。

1 轨迹预测及车辆交互集合的建立

1.1　基于深度学习的车辆轨迹预测模型

本文采用Forecast-MAE^［11］算法对车辆轨迹进行预测，将模型的输入设置为N个车辆的历史轨迹A_{\mathrm{H}}=(P_{\mathrm{h}},t_{\mathrm{h}},\mathrm{i}\mathrm{d}\_\mathrm{c}\mathrm{a}\mathrm{r},C_{\mathrm{H}})、未来轨迹A_{\mathrm{F}}=(P_{\mathrm{f}},t_{\mathrm{f}},\mathrm{i}\mathrm{d}\_\mathrm{c}\mathrm{a}\mathrm{r},C_{\mathrm{F}})及道路特征L=(B_{\mathrm{l}\mathrm{e}\mathrm{f}\mathrm{t}},B_{\mathrm{r}\mathrm{i}\mathrm{g}\mathrm{h}\mathrm{t}},\mathrm{i}\mathrm{d}\_\mathrm{l}\mathrm{a}\mathrm{n}\mathrm{e},C_{\mathrm{L}})。其中，P_{\mathrm{h}}为车辆在t_{\mathrm{h}}时间段的位置坐标，P_{\mathrm{h}}=p^{\mathrm{1}},p^{\mathrm{2}},\dots ,p^{t_{\mathrm{h}}}；P_{\mathrm{f}}为车辆在t_{\mathrm{h}}+t_{\mathrm{f}}时间段的位置坐标，P_{\mathrm{f}}=p^{t_{\mathrm{h}}+\mathrm{1}},p^{t_{\mathrm{h}}+\mathrm{2}},\dots ,p^{t_{\mathrm{h}}+t_{\mathrm{f}}}，定义p^t=[x_t,y_t]，且t=t_{\mathrm{h}}+t_{\mathrm{f}}；B_{\mathrm{l}\mathrm{e}\mathrm{f}\mathrm{t}}和B_{\mathrm{r}\mathrm{i}\mathrm{g}\mathrm{h}\mathrm{t}}分别为车道的左边线和右边线；C_{\mathrm{H}}和C_{\mathrm{F}}分别为车辆的历史特征和未来特征，具体包括车辆的相对位置及速度差；C_{\mathrm{L}}为车道特征，包括车道线类型、车道中心线及与当前车道相连的车道编号；\mathrm{i}\mathrm{d}\_\mathrm{c}\mathrm{a}\mathrm{r}和\mathrm{i}\mathrm{d}\_\mathrm{l}\mathrm{a}\mathrm{n}\mathrm{e}分别为车辆和道路段的唯一标识，用以区分不同车辆和道路分段。

利用Transformer^［12］架构构建轨迹预测模型的编码器模块，为了增强道路与轨迹间的联系，在预训练阶段，模型的输入为车辆的历史轨迹、未来轨迹及道路特征。采用特征金字塔网络（Feature pyramid network，FPN）^［13］融合多尺度车辆运动特征。在处理地图信息时，本文将车道线转化为离散的点集，并将相邻关键点连接成向量，为了捕捉更多的道路特征，采用MiniPointNet^［14］嵌入车道折线。嵌入过程可表示为：

T_{\mathrm{H}}=\mathrm{F}\mathrm{P}\mathrm{N}(A_{\mathrm{H}}),T_{\mathrm{F}}=\mathrm{F}\mathrm{P}\mathrm{N}(A_{\mathrm{F}})（1）

T_{\mathrm{L}}=MiniPointNet(L)（2）

式中：T_{\mathrm{H}}\mathrm{、}{T}_{\mathrm{F}}\mathrm{、}{T}_{\mathrm{L}}分别为经过嵌入层编码后的历史轨迹、未来轨迹及道路特征。

对经过嵌入层的数据进行掩码操作，待车辆和道路信息掩码完成后，采用双层MPL方法对车辆和道路的位置信息进行嵌入，具体表达式为：

\mathrm{P}\mathrm{E}=\mathrm{M}\mathrm{L}\mathrm{P}([x,y,\mathrm{c}\mathrm{o}\mathrm{s}\theta ,\mathrm{s}\mathrm{i}\mathrm{n}\theta ])（3）

式中：\theta为车辆横摆角；（x,y）为车道折线的几何中心坐标。

编码器由多个Transformer块组成，并参照MAE^［15］的非对称编码器-解码器架构。编码器只对无掩码标记的车辆轨迹和道路分段进行编码，编码过程可表示为：

T_{\mathrm{E}}=\mathrm{E}\mathrm{n}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}(\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}(T_{\mathrm{H}},T_{\mathrm{F}},T_{\mathrm{L}})+\mathrm{P}\mathrm{E})（4）

M^{\text{'}}=\mathrm{D}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}(\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}(T_{\mathrm{E}},M)+\mathrm{P}\mathrm{E})（5）

式中：M为被掩码操作遮蔽的车辆轨迹和道路信息；T_{\mathrm{E}}\mathrm{和}{M}^{\text{'}}分别为编码器和解码器的输出。

对编码后的输出使用L_{\mathrm{1}}损失函数及简单的预测头对轨迹和车道段进行重构，鉴于智能体行为的多模态性质，运动预测需要产生多个潜在的未来预测，故对上述预训练模型进行改进。改进后，编码器不再处理车辆未来特征，不对输入数据进行掩码操作，并用多模态解码器代替MAE解码器。多模态解码器由3层MLP构成，用于为每条预测轨迹生成置信度，其解码过程可表示为：

P_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{j}}=\mathrm{M}\mathrm{L}\mathrm{P}(T_{\mathrm{H}}^{\mathrm{\text{'}}})（6）

式中：T_{\mathrm{H}}^{\mathrm{\text{'}}}为编码后的历史轨迹。训练过程中，采用Huber损失函数实现轨迹回归，采用交叉熵损失函数完成置信度分类。

基于上述预测模型对交叉路口车辆的运动轨迹进行预测，当周车预测轨迹与自车目标路径存在重合时，认为两车存在潜在碰撞风险，将这类周车定义为与自车直接相关车辆集合。若剩余车辆中存在与直接相关车辆轨迹重合的对象，则将这部分车辆定义为间接相关车辆集合。其他车辆为无关车辆，不考虑其交互决策问题。基于本节内容建立后续的交互决策模型，博弈决策的总体架构如图1所示。

2 交互决策模型的建立

2.1　考虑交通因素影响的车辆模型建立

智能驾驶汽车的决策会受到周围车辆及环境因素的影响，为了保证决策的准确性，不仅要掌握车辆的运动状态，还应关注环境的变化，故本文采用如下离散模型对车辆的状态变化进行描述：

s_{t+\mathrm{1}}=f(s_t,e_t)（7）

式中：s_t=(s^{\mathrm{1}},s^{\mathrm{2}},\dots ,s^i),i=\{\mathrm{1,2},\dots ,n\}，为t时刻环境中车辆i的状态信息。用车辆运动学模型对状态s^i=(x^i,y^i,{\theta }^i,v^i)进行建模，具体表达式为：

\left[\begin{array}{l}{x}_{t+\mathrm{1}}^i\\ y_{t+\mathrm{1}}^i\\ {\theta }_{t+\mathrm{1}}^i\\ v_{t+\mathrm{1}}^i\end{array}\right]=\left[\begin{array}{l}{x}_t^i+v_t^i\mathrm{c}\mathrm{o}\mathrm{s}({\theta }_t^i)\mathrm{\Delta }t\\ y_t^i+v_t^i\mathrm{s}\mathrm{i}\mathrm{n}({\theta }_t^i)\mathrm{\Delta }t\\ {\theta }_t^i+{\omega }_t^i\mathrm{\Delta }t\\ v_t^i+a_t^i\mathrm{\Delta }t\end{array}\right]（8）

式中：x\mathrm{、}y分别为车辆的横向和纵向位置；v为车辆速度；a为车辆加速度；\omega为车辆横摆角速度。e^i=(g^i,l^i,{\xi }^i)为环境状态信息，由道路特征、道路几何布局及车辆目标点3部分组成，环境状态根据车辆当前位置及决策进行更新。其中，g^i为车辆决策目标点的坐标；l^i=(v_{\mathrm{l}\mathrm{i}\mathrm{m}}^i,l_{\mathrm{t}\mathrm{y}\mathrm{p}\mathrm{e}}^i)由车辆当前车道的速度限制及车辆周围车道线的类型两部分特征组成；{\xi }_{\mathrm{f}\mathrm{o}\mathrm{r}\mathrm{m}}为道路的几何布局。该模型能充分描述车辆决策过程中状态的变化，车辆依照该模型进行决策能够获取更丰富的信息，进而提高决策的准确性和合理性。

2.2　交互博弈起止判别机制

交叉路口相较于其他场景更为复杂，驶入其中的车辆数量也更多，但车辆之间并不需要时刻进行博弈，为了使博弈过程更加灵活，同时降低参与者过多带来的算力压力，本文提出了一种博弈起止判别机制，对参与博弈的车辆进行动态筛选。

首先，结合相对时间设计判别机制，其表达式为：

\mathrm{r}\mathrm{e}\mathrm{l}\_t^i=\left|\frac{x_t^i-x_{\mathrm{c}\mathrm{o}\mathrm{l}\mathrm{l}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}^{i,j}}{v_t^i}\right|（9）

\mathrm{r}\mathrm{e}\mathrm{l}\_t^j=\left|\frac{x_t^j-x_{\mathrm{c}\mathrm{o}\mathrm{l}\mathrm{l}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}^{i,j}}{v_t^j}\right|（10）

\mathrm{r}\mathrm{e}\mathrm{l}\_t=\left|\mathrm{r}\mathrm{e}\mathrm{l}\_t^i-\mathrm{r}\mathrm{e}\mathrm{l}\_t^j\right|（11）

\mathrm{c}\mathrm{o}{\mathrm{n}}_t=\left\{\begin{array}{l}\mathrm{0},\mathrm{r}\mathrm{e}\mathrm{l}\_t>\mathrm{s}\mathrm{a}\mathrm{f}\mathrm{e}\_t\\ \mathrm{1},\mathrm{r}\mathrm{e}\mathrm{l}\_t\le \mathrm{s}\mathrm{a}\mathrm{f}\mathrm{e}\_t\end{array}\right.（12）

式中：\mathrm{r}\mathrm{e}\mathrm{l}\_t^i、\mathrm{r}\mathrm{e}\mathrm{l}\_t^j为车辆到达冲突点的时间；x_t^i\mathrm{、}{x}_t^j为车辆当前时刻的位置；v_t^i\mathrm{、}{v}_t^j为车辆当前时刻的速度；x_{\mathrm{c}\mathrm{o}\mathrm{l}\mathrm{l}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}^{i,j}为冲突点的位置；\mathrm{r}\mathrm{e}\mathrm{l}\_t为车辆到达冲突点的时间差；\mathrm{s}\mathrm{a}\mathrm{f}\mathrm{e}\_t为相对到达时间安全阈值。当车辆到达冲突点的时间大于安全阈值时，说明按照当前车辆的状态，无碰撞风险，车辆无需参与博弈。

其次，当车辆距离交叉路口位置较远时，车辆也无需参与博弈。因此，将车辆距离交叉路口起止线的相对距离作为判别机制的第2条约束，即：

（13）

式中：d_{\mathrm{m}\mathrm{i}\mathrm{n}}和d_{\mathrm{m}\mathrm{a}\mathrm{x}}为车辆到达起止线距离的边界值；d_{\mathrm{r}\mathrm{e}\mathrm{l}}^i为车辆车头位置中心点到起止线的距离。

最后，博弈的要素之一为参与者，如果缺少参与者，那么博弈同样无法进行，故设计相关对象判别机制作为进出博弈的第3条约束。

综上，判别机制可描述为：

\mathrm{c}\mathrm{o}{\mathrm{n}}_{\mathrm{g}\mathrm{a}\mathrm{m}\mathrm{e}}=\mathrm{c}\mathrm{o}{\mathrm{n}}_t+\mathrm{c}\mathrm{o}{\mathrm{n}}_{\mathrm{d}\mathrm{i}\mathrm{s}}+\mathrm{c}\mathrm{o}{\mathrm{n}}_{\mathrm{o}\mathrm{b}\mathrm{j}}（14）

只有当3个条件都满足时，才能进入博弈中，此时\mathrm{c}\mathrm{o}{\mathrm{n}}_{\mathrm{g}\mathrm{a}\mathrm{m}\mathrm{e}}=\mathrm{3}，通过判别机制实现车辆交互对象及其数量的动态变化，既符合真实交通环境，又可提高决策的效率。

2.3　考虑驾驶风格差异的博弈收益函数设计

本文按照不同驾驶风格驾驶员对不同指标的偏好程度，从安全性、舒适性、行车效率、行车规范4个方面设计博弈收益函数。

考虑到车辆行驶过程中，其横向和纵向的潜在危险程度是不同的，本文提出危险度系数概念，并结合驾驶风格等因素建立不同车辆交互所需的动态安全区域，模型设计如下：

\left\{\begin{array}{l}{R}_x=\left(v_x{t}_s+\frac{k+v_{\mathrm{r}\mathrm{e}\mathrm{l}}}{d_{\mathrm{r}\mathrm{e}\mathrm{l}}}\right){\gamma }_x\\ R_y=\left(v_y{t}_s+\frac{k+v_{\mathrm{r}\mathrm{e}\mathrm{l}}}{d_{\mathrm{r}\mathrm{e}\mathrm{l}}}\right){\gamma }_y\end{array}\right.（15）

\left\{\begin{array}{l}{L}_{\mathrm{e}\mathrm{g}\mathrm{o}}=\mathrm{2}[(\mathrm{1}+R_x)\frac{L}{\mathrm{2}}{p}_{\mathrm{s}\mathrm{t}\mathrm{y}}]\\ W_{\mathrm{e}\mathrm{g}\mathrm{o}}=\mathrm{2}[(\mathrm{1}+R_y)\frac{W}{\mathrm{2}}{p}_{\mathrm{s}\mathrm{t}\mathrm{y}}]\end{array}\right.（16）

{\varphi }_{\mathrm{s}\mathrm{a}\mathrm{f}\mathrm{e}}=\left\{\begin{array}{l}\mathrm{1},\mathrm{没有}\mathrm{碰撞}\mathrm{风险}\\ -\frac{\mathrm{1}}{S_{\mathrm{s}\mathrm{a}\mathrm{f}\mathrm{e}}},\mathrm{存在}\mathrm{碰撞}\mathrm{风险}\end{array}\right.（17）

式中：R_x、R_y分别为矩形模型长度和宽度的缩放比例；L、W分别为车辆的长度和宽度；{\gamma }_x、\gamma {}_y{}^{}分别为横向危险度系数和纵向危险度系数，其大小由车辆横纵向速度、距离冲突点距离及车辆边框4个顶点间的距离判定；t_{\mathrm{s}}为驾驶员反应时间，t_{\mathrm{s}}=\mathrm{0.5}\mathrm{s}；v_x\mathrm{、}{v}_y分别为车辆的横向速度和纵向速度；v_{\mathrm{r}\mathrm{e}\mathrm{l}}\mathrm{、}{d}_{\mathrm{r}\mathrm{e}\mathrm{l}}分别为车辆的相对速度和相对距离；k为常数，用于补偿当相对速度为0时，缩放比例过小导致的安全距离不足；L_{\mathrm{e}\mathrm{g}\mathrm{o}}、W_{\mathrm{e}\mathrm{g}\mathrm{o}}分别为变换后矩形车辆模型的长度和宽度；p_{\mathrm{s}\mathrm{t}\mathrm{y}}为驾驶风格参数，用于调整不同驾驶风格驾驶员对安全距离的不同偏好；{\varphi }_{\mathrm{s}\mathrm{a}\mathrm{f}\mathrm{e}}为安全性收益，当车辆存在碰撞风险时，安全区域重叠的面积S_{\mathrm{s}\mathrm{a}\mathrm{f}\mathrm{e}}越大收益越小。

该模型既体现了车辆间的交互特性，又体现了不同车辆的差异性，更能满足复杂环境下对碰撞风险评估的要求。

频繁的加减速会导致车辆在行进过程中前、后震荡，进而影响驾乘人员的乘车体验，因此本文设计舒适度收益为：

{\varphi }_{\mathrm{c}\mathrm{o}\mathrm{m}\mathrm{f}\mathrm{o}\mathrm{r}\mathrm{t}}=-\left[(a_i^r{-\overline{a})}^{\mathrm{2}}+{\displaystyle \sum _{m=\mathrm{1}}^{r-\mathrm{1}}}(a_i^{\mathrm{*}m}{-\overline{a})}^{\mathrm{2}}\right]（18）

其中：

\overline{a}=\frac{\mathrm{1}}{r}(a_i^r+{\displaystyle \sum _{m=\mathrm{1}}^{r-\mathrm{1}}}{a}_i^{\mathrm{*}m})（19）

式中：a_i^r为当前阶段车辆可能采取的加速度；a_i^{\mathrm{*}m}为车辆前r-1个阶段采取的最优加速度；\overline{a}为平均加速度。

为了保证智能驾驶汽车能够融入真实的交通环境中，设计行车规范性指标{\varphi }_{\mathrm{r}\mathrm{u}\mathrm{l}\mathrm{e}}，对车辆决策行为进行约束。例如，车辆在行驶过程中不应该压线行驶、不能驶入对向车道等。当车辆遵守行驶规范时，收益为1；反之，收益为负。此外，本文从时间和空间两个方面建立行车效率评价指标，即：

{\varphi }_{\mathrm{e}\mathrm{f}\mathrm{f}}={\varphi }_{\mathrm{e}\mathrm{f}\mathrm{f}}^{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{c}\mathrm{e}}+{\varphi }_{\mathrm{e}\mathrm{f}\mathrm{f}}^{\mathrm{T}}（20）

式中：{\varphi }_{\mathrm{e}\mathrm{f}\mathrm{f}}^{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{c}\mathrm{e}}为行驶空间效率，表示当前博弈阶段车辆i和车辆j从有限动作集中选择策略后可能到达的位置之间的空间间隔；{\varphi }_{\mathrm{e}\mathrm{f}\mathrm{f}}^{\mathrm{T}}为通行时间效率。

{\varphi }_{\mathrm{e}\mathrm{f}\mathrm{f}}^{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{c}\mathrm{e}}=\sqrt[]{(x^i(u_r^i)-x^j(u_r^j{))}^{\mathrm{2}}+(y^i(u_r^i)-y^j(u_r^j{))}^{\mathrm{2}}}（21）

式中：x^i(u_r^i)\mathrm{、}{x}^j(u_r^j)\mathrm{、}{y}^i(u_r^i)\mathrm{、}{y}^j(u_r^j)为第r个阶段博弈中，车辆采取动作u后可能到达的位置坐标。该指标用于保留适当的动作空间，避免车辆间由于决策空间不足，出现死锁问题，导致通行效率降低。

{\varphi }_{\mathrm{e}\mathrm{f}\mathrm{f}}^{\mathrm{T}}=\frac{x^i(u_r^i)-x_{\mathrm{g}\mathrm{c}}}{\mathrm{m}\mathrm{i}\mathrm{n}(v_{\mathrm{m}\mathrm{a}\mathrm{x}},v_{\mathrm{e}\mathrm{x}\mathrm{p}}^i)}-\frac{x^i(u_r^i)-x_{\mathrm{g}\mathrm{c}}}{v^i(u_r^i)}（22）

式中：v_{\mathrm{m}\mathrm{a}\mathrm{x}}为当前车道允许通行的最大速度；v_{\mathrm{e}\mathrm{x}\mathrm{p}}^i为车辆的期望速度；x_{\mathrm{g}\mathrm{c}}\in \{x_{\mathrm{g}\mathrm{o}\mathrm{a}\mathrm{l}},x_{\mathrm{c}\mathrm{o}\mathrm{l}\mathrm{l}}\}，当车辆未驶离冲突区域时，x_{\mathrm{g}\mathrm{c}}的取值为车辆到达冲突点的距离，当车辆驶离冲突区域后，x_{\mathrm{g}\mathrm{c}}的取值为车辆到达目标点的距离；v^i(u_r^i)为当前阶段可能采取的加速度策略对应的速度。

综上，总收益函数由4个指标及其对应权重构成，即：

\left\{\begin{array}{l}\varphi ={\lambda }_{\mathrm{1}}{\varphi }_{\mathrm{s}\mathrm{a}\mathrm{f}\mathrm{e}}+{\lambda }_{\mathrm{2}}{\varphi }_{\mathrm{c}\mathrm{o}\mathrm{m}\mathrm{f}\mathrm{o}\mathrm{r}\mathrm{t}}+{\lambda }_{\mathrm{3}}{\varphi }_{\mathrm{r}\mathrm{u}\mathrm{l}\mathrm{e}}+{\lambda }_{\mathrm{4}}{\varphi }_{\mathrm{e}\mathrm{f}\mathrm{f}}\\ {\lambda }_{\mathrm{1}}+{\lambda }_{\mathrm{2}}+{\lambda }_{\mathrm{3}}+{\lambda }_{\mathrm{4}}=\mathrm{1}\\ a_{\mathrm{m}\mathrm{i}\mathrm{n}}\le a^i\le a_{\mathrm{m}\mathrm{a}\mathrm{x}}\\ v_{\mathrm{m}\mathrm{i}\mathrm{n}}\le v^i\le v_{\mathrm{m}\mathrm{a}\mathrm{x}}\end{array}\right.（23）

式中：{\lambda }_{\mathrm{1}}\mathrm{、}{\lambda }_{\mathrm{2}}\mathrm{、}{\lambda }_{\mathrm{3}}\mathrm{、}{\lambda }_{\mathrm{4}}为不同驾驶风格驾驶员对车辆安全性、舒适性、行车效率及行车规范不同需求对应的权重系数；a_{\mathrm{m}\mathrm{a}\mathrm{x}}、a_{\mathrm{m}\mathrm{i}\mathrm{n}}分别为车辆的最大加速度和最小加速度；v_{\mathrm{m}\mathrm{a}\mathrm{x}}为道路的限速条件；v_{\mathrm{m}\mathrm{i}\mathrm{n}}为车辆的最小速度。

2.4　基于Level-K博弈理论的决策模型建立

Level-K博弈理论的基本思想是，人类参与博弈时的认知水平和思维模式是不同的，通过一定规则对博弈参与对象进行分级，并规定低等级玩家不考虑其他参与者的行为，只依据本能做出决策，而k级玩家通过假设其他玩家等级都为k-1级来预测他们的行为，依据这种假设做出自身的最佳决策。但当车辆与同等级或更高等级的车辆进行交互时，依靠这种假设做出的决策并不准确。此外，高等级车辆与低等级车辆进行交互时，由于车辆间的相关性较弱，决策的准确性也会受到影响。因此，本文对Level-K博弈框架进行改进，提升其应对复杂交通环境的能力，做出更加符合人类驾驶员思维的决策行为。

依照车辆间的相关性对车辆进行初始分级，将自车定义为k级，直接相关的车辆定义为k-1级，间接相关的车辆定义为0级。智能驾驶汽车的决策本质是“先假设，后观察，终修正”的过程，车辆需要在决策过程中通过不断的迭代修正，找到累计奖励最大的动作序列。由于0级车辆只从自身角度出发做出决策，因此将0级车辆的行为选择过程定义为：

(u_t^i{)}^{\mathrm{0}}=\left\{(u_{\mathrm{0}}^i{)}^{\mathrm{0}},(u_{\mathrm{1}}^i{)}^{\mathrm{0}},\dots ,(u_{t-\mathrm{1}}^i{)}^{\mathrm{0}}\right\}\in

\underset{u_t^i\in U}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}{\displaystyle \sum _{\tau =\mathrm{0}}^{n-\mathrm{1}}}\varphi [(s_{\tau }^i{)}^{\mathrm{0}},(u_{\tau }^i{)}^{\mathrm{0}}]（24）

式中：U为车辆的有限动作集，其中包括加速、减速、左转、右转、刹车和保持6个动作；(u_t^i{)}^{\mathrm{0}}为0级车辆的动作序列，(u_t^i{)}^{\mathrm{0}}=\left\{(u_{\mathrm{0}}^i{)}^{\mathrm{0}},(u_{\mathrm{1}}^i{)}^{\mathrm{0}},\dots ,(u_{t-\mathrm{1}}^i{)}^{\mathrm{0}}\right\}；(s_{\tau }^i{)}^{\mathrm{0}}\mathrm{、}(u_{\tau }^i{)}^{\mathrm{0}}分别为0级车辆在步长为\tau时的动作和状态。

基于0级车辆决策选择的定义，可推出当k\ge \mathrm{1}时车辆的最优决策为：

(u_t^i{)}^k=\left\{(u_{\mathrm{0}}^i{)}^k,(u_{\mathrm{1}}^i{)}^k,\dots ,(u_{t-\mathrm{1}}^i{)}^k\right\}\in

\underset{u_t^i\in U}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}{\displaystyle \sum _{\tau =\mathrm{0}}^{n-\mathrm{1}}}\varphi [(s_{\tau }^i{)}^k,(s_{\tau }^j{)}^k,(u_{\tau }^i{)}^k(u_{\tau }^j{)}^k]（25）

式中：(s_{\tau }^j{)}^k\mathrm{、}(u_{\tau }^j{)}^k分别为其他车辆的动作和状态。

式（25）表明，k级车辆在进行决策时，不仅考虑自身的动作状态，还考虑了其他车辆的影响，体现了车辆间的交互特性。从自车的视角来看，其他交互车辆为移动的“障碍车”，而从其他车辆的视角来看，自车就变成了“障碍车”，因此式（25）可以描述两车交互中任意一方的决策。

按照本文的分级方式，k级车辆与0级车辆的相关性较低，因此本文不考虑二者的直接交互，而是将k-1级车辆作为中间集，在减少同时交互车辆数量的同时降低了算法复杂度，提高了车辆交互的成功概率。此外，在博弈过程中，不考虑同级车辆间的相互作用。

2.5　序贯行动选择机理

在多车动态博弈中，车辆决策的序贯性也是影响车辆行为的因素之一。先行动的车辆在其他车辆之前做出决策，进而掌握了决策优先权；后行动的车辆受到先行动车辆决策的约束，进而影响自身行为的选择。此外，无信控交叉路口中存在不确定性，单轮博弈难以引导车辆安全驶出路口，需要多轮博弈对决策进行修正，因此需要根据序贯优先级调整车辆的决策顺序。车辆到达冲突点的相对时间计算公式为：

T_{\mathrm{r}\mathrm{e}\mathrm{l}}^i=\frac{\sqrt[]{(x_t^i-x_{\mathrm{c}\mathrm{o}\mathrm{l}\mathrm{l}}{)}^{\mathrm{2}}+(y_t^i-y_{\mathrm{c}\mathrm{o}\mathrm{l}\mathrm{l}}{)}^{\mathrm{2}}}}{v_t^i}（26）

式中：v_t^i为当前时刻车辆i的速度；x_t^i\mathrm{、}{y}_t^i分别为当前时刻车辆i的横向位置和纵向位置；x_{\mathrm{c}\mathrm{o}\mathrm{l}\mathrm{l}}\mathrm{、}{y}_{\mathrm{c}\mathrm{o}\mathrm{l}\mathrm{l}}为冲突点位置。到达冲突点的相对时间越小，车辆决策优先级越高，故将车辆决策优先级量化为：

\mathrm{s}\mathrm{e}{\mathrm{q}}_t^i=\mathrm{1}/T_{\mathrm{r}\mathrm{e}\mathrm{l}}^i（27）

式中：\mathrm{s}\mathrm{e}{\mathrm{q}}_t^i为t时刻车辆i的序贯优先级。在每轮博弈中，需根据优先级重新调整车辆的决策顺序。优先级高的车辆需考虑其他车辆在自身决策影响下可能做出的决策，然后优先选择自身动作；优先级低的车辆根据先行动车辆已经做出的动作做出相应决策。根据序贯行动的选择机理将决策模型调整为：

\left\{\begin{array}{l}\mathrm{m}\mathrm{a}\mathrm{x}\mathrm{s}\mathrm{e}{\mathrm{q}}_t^i(u_t^i{)}^k=\left\{(u_{\mathrm{0}}^i{)}^k,(u_{\mathrm{1}}^i{)}^k,\dots ,(u_{t-\mathrm{1}}^i{)}^k\right\}\in \\ \underset{u_t^i\in U}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}{\displaystyle \sum _{\tau =\mathrm{0}}^{n-\mathrm{1}}}\varphi [s_{\tau }^i,s_{\tau }^j,u_{\tau }^i,u_{\tau }^j(u_{\tau }^i)]\\ \mathrm{m}\mathrm{i}\mathrm{n}\mathrm{s}\mathrm{e}{\mathrm{q}}_t^i(u_t^i{)}^k=\left\{(u_{\mathrm{0}}^i{)}^k,(u_{\mathrm{1}}^i{)}^k,\dots ,(u_{t-\mathrm{1}}^i{)}^k\right\}\in \\ \underset{u_t^i\in U}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}{\displaystyle \sum _{\tau =\mathrm{0}}^{n-\mathrm{1}}}\varphi [s_{\tau }^i,s_{\tau }^j,u_{\tau }^i,(u_{\tau }^j{)}^{\mathrm{*}}]\end{array}\right.（28）

式中：u_{\tau }^j(u_{\tau }^i)为车辆i采取动作u_{\tau }^i后，模型预测后行动车辆j可能采取的动作；(u_{\tau }^j{)}^{\mathrm{*}}为先行动车辆j采取的最优决策。

3 实验验证

3.1　交汇场景下的实验结果分析

本文选取现实生活中较为常见，且具有强代表性的无信控十字交叉路口作为实验场景，如图 2（a）所示。实验一场景中包括两辆目标点位于同一车道，且在交汇处存在潜在冲突的车辆。为清晰区分实验对象，本文采用不同颜色标注车辆及其速度变化曲线，红色车辆为自车（编号为1），其驾驶风格为谨慎型，蓝色车辆为交互车辆（编号为2），其驾驶风格为激进型。实验前设置主要参数，具体如下：两辆车的初始速度相同，初始加速度为0，初始位置相同，每辆车的加速度约束a_{\mathrm{m}\mathrm{a}\mathrm{x}}=\mathrm{5}\mathrm{m}/{\mathrm{s}}^{\mathrm{2}}、a_{\mathrm{m}\mathrm{i}\mathrm{n}}=\mathrm{5}\mathrm{m}/{\mathrm{s}}^{\mathrm{2}}，道路限速条件为8 m/s，单轮博弈的决策周期为0.25 s。

由图3可知，两车在初始阶段为获得优先路权均选择加速策略，随着车辆持续行驶，车辆的行驶轨迹出现重合，此时2号车与1号车形成直接关联，定义2号车为k=1级车辆，如图2（b）（c）所示，2号车的序贯优先级高于1号车，获得优先路权，1号车选择减速避让，2号车保持原有速度优先驶离冲突区域，而后1号车调整速度继续前往目标点。实验结果表明，本文决策算法可帮助车辆有效化解交汇过程中因争抢同一行驶空间而产生的碰撞风险。

3.2　冲突场景下的实验结果分析

实验二为3辆交错行驶且存在潜在冲突的车辆驾驶场景，如图4（a）所示。绿色车辆为自车（ego car，编号为1），其驾驶风格为谨慎型，蓝色车辆（编号为2）和红色车辆（编号为3）为交互车辆（other car），其驾驶风格分别为激进型和正常型。主要实验参数如下：3辆车的初始速度相同，初始加速度为0，初始位置相同，每辆车的加速度约束a_{\mathrm{m}\mathrm{a}\mathrm{x}}=\mathrm{5}\mathrm{m}/{\mathrm{s}}^{\mathrm{2}}、a_{\mathrm{m}\mathrm{i}\mathrm{n}}=-\mathrm{5}\mathrm{m}/{\mathrm{s}}^{\mathrm{2}}，道路限速条件为8 m/s，单轮博弈的决策周期为0.25 s。

图5记录了车辆在路口决策过程中的速度变化，初始阶段车辆尚未进入路口，博弈还未开始，此时车辆均做出加速尝试，试图抢占优先路权。随着博弈的进行，如图4（b）所示，车辆的轨迹出现交点，轨迹预测结果判定2号车和3号车都与1号车直接相关，定义2号车、3号车为k=1级车辆，车辆的序贯优先级发生变化，且伴随着驾驶风格的差异，2号车的优先级高于其他车辆，同时1号车为化解与其他车辆的驾驶冲突，开始减速妥协，2号车在接收到其他车辆的让步信息后继续加速行驶，获得优先路权并率先通过交叉路口。在2号车驶离后，2号车与1号车不再相关，2号车变为无关车辆，3号车与1号车继续交互，保持k级不变，如图4（c）所示，3号车优先级依旧高于1号车，1号车在尝试加速后继续妥协，而后2号车和3号车逐步驶离冲突区域到达目标点，1号车无需再考虑与其他车辆的交互问题，采取加速策略尽快到达目标点。实验结果表明，尽管车辆存在试探加速行为，但借助本文决策模型，车辆可以有序通过冲突区域，有效化解了潜在的碰撞冲突，并安全驶出交叉路口。

3.3　多车密集场景下的实验结果分析

实验三在实验一、二的基础上增加了交互车辆数量，如图6（a）所示。绿色车辆为自车（编号为1），其余车辆为交互车辆（编号为2~5）。主要实验参数如下：5辆车的初始速度相同，初始加速度为0，初始位置相同，每辆车的加速度约束a_{\mathrm{m}\mathrm{a}\mathrm{x}}=\mathrm{5}\mathrm{m}/{\mathrm{s}}^{\mathrm{2}}、a_{\mathrm{m}\mathrm{i}\mathrm{n}}=-\mathrm{5}\mathrm{m}/{\mathrm{s}}^{\mathrm{2}}，道路限速条件为8 m/s，单轮博弈的决策周期为0.25 s。

由于路口车辆数量的增加，车辆间的交互变得更加频繁。如图6（b）所示，2号车的优先级高于其他车辆，因此其他车辆受2号车影响开始减速，从图7中可以观察到1号车、3号车、5号车的速度发生变化。当2号车驶离冲突区域后，1号车、3号车、5号车继续交互，如图6（c）所示，此时5号车获得优先路权，加速前往目标点。5号车驶离冲突区域后，3号车距离冲突点的距离小于1号车，此时3号车逐渐开始加速前往目标点。而后1号车结束当前交互，开始加速前往目标点，但目标点前方存在静态“障碍物”4号车，为避免碰撞，1号车再次采取减速动作，缓慢前往目标点。实验结果表明，尽管车辆数量增加导致交互变得更加频繁，但车辆依旧可以做出合理决策，并安全驶出交叉路口。

4 结束语

本文面向智能驾驶汽车在无信控交叉路口场景中的安全决策任务，提出了一种基于Level-K博弈框架的交互式序贯决策方法。实验结果表明，智能驾驶汽车的决策结果受到自车、周围其他车辆及环境等多重因素的影响，本文提出的考虑车辆序贯性的k级博弈决策方法模仿了人类决策的思维逻辑，体现出不同驾驶风格驾驶员的决策行为差异，交互过程中车辆表现出的竞争、妥协和博弈、试探表明车辆决策具有一定的类人性，能够合理化解碰撞风险并安全通过交叉路口，符合实际的驾驶逻辑。

参考文献

[1] Hang P, Lv C, Xing Y, et al. Human-like decision making for autonomous driving: a noncooperative game theoretic approach[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 22(4): 2076-2087.

[2] Chu H Q, Guo L L, Yan Y J, et al. Self-learning optimal cruise control based on individual car-following style[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 22(10): 6622-6633.

[3] 高振海,孙天骏,何磊.汽车纵向自动驾驶的因果推理型决策[J].吉林大学学报: 工学版, 2019, 49(5):1392-1404.

[4] Gao Zhen-hai, Sun Tian-jun, He Lei. Causal inference-based decision making for longitudinal autonomous driving of vehicles[J]. Journal of Jilin University (Engineering and Technology Edition), 2019, 49(5): 1392-1404.

[5] Choi E H. Crash factors in intersection-related crashes: an on-scene perspective[R]. Washington, DC: US Dept of Transportation, National Highway Traffic Safety Administration,2010.

[6] Shirazi M S, Morris B T. Looking at intersections: A survey of intersection monitoring, behavior and safety analysis of recent studies[J]. IEEE Transactions on Intelligent Transportation Systems, 2016, 18(1): 4-24.

[7] 朱冰, 贾士政, 赵健, 等. 考虑主观认知的自动驾驶汽车序贯博弈类人决策[J]. 汽车工程, 2025, 47(1): 13-22.

[8] Zhu Bing, Jia Shi-zheng, Zhao Jian, et al. Sequential game-based human-like decision-making for autonomous vehicles considering subjective cognition[J]. Automotive Engineering, 2025, 47(1): 13-22.

[9] Li N, Yao Y, Kolmanovsky I, et al. Game-theoretic modeling of multi-vehicle interactions at uncontrolled intersections[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 23(2): 1428-1442.

[10] Tian R, Li N, Kolmanovsky I, et al. Game-theoretic modeling of traffic in unsignalized intersection network for autonomous vehicle control verification and validation[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 23(3): 2211-2226.

[11] Jia S Z, Zhang Y X, Li X, et al. Interactive decision-making with switchable game modes for automated vehicles at intersections[J]. IEEE Transactions on Intelligent Transportation Systems, 2023, 24(11): 11785-11799.

[12] Sankar G S, Han K. Adaptive robust game-theoretic decision making strategy for autonomous vehicles in highway[J]. IEEE Transactions on Vehicular Technology, 2020, 69(12): 14484-14493.

[13] Cheng J, Mei X D, Liu M. Forecast-MAE: self-supervised pre-training for motion forecasting with masked autoencoders[C]∥Proceedings of the IEEE/CVF International Conference on Computer Vision,Paris, France, 2023: 8679-8689.

[14] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in Neural Information Processing Systems, 2017, 30: 6000-6010.

[15] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 2017: 2117-2125.

[16] Qi C R, Su H, Mo K, et al. PointNet: deep learning on point sets for 3D classification and segmentation[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 2017: 652-660.

[17] He K M, Chen X L, Xie S N, et al. Masked autoencoders are scalable vision learners[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, LA, USA, 2022: 16000-16009.

基金资助

国家自然科学基金项目(62373163)