基于目标锚点驱动的多模态轨迹预测方法

Multimodal trajectory prediction based on target anchor-driven

摘要

针对现有轨迹预测方法在车辆与地图交互方面的不足，导致轨迹预测结果不符合道路拓扑结构这一缺陷，提出了一种耦合自车运动趋势的目标锚点驱动的多模态轨迹预测方法（TMTP）。该模型通过图模型高效地将交通场景的先验知识引入算法中，以便能精准地描述交通场景中的异构互动关系。同时，该模型充分考虑了动态场景图的车辆历史轨迹、自车未来轨迹和静态场景图中矢量化地图的拓扑信息的交互作用，并通过注意力网络聚合不同节点之间的特征，实现了更好的局部-全局之间的特征融合。此外，TMTP将驾驶意图表征为目标锚点，简化了意图空间的复杂性。本文在大规模Argoverse运动预测基准上对本文方法进行了评估，结果表明：本文模型相比于官方基准模型在\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{F}\mathrm{D}{\mathrm{E}}_{\mathrm{1}}和\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{F}\mathrm{D}{\mathrm{E}}_{\mathrm{6}}上分别提升56.2%、56.6%，可出色地完成轨迹预测任务。

Abstract

Existing trajectory prediction methods often overlook the interaction between vehicles and the map， resulting in trajectory predictions that do not conform to road topologies. To address this issue， this paper proposes a target-anchor-driven multimodal trajectory prediction method （TMTP） that couples the vehicle's motion trend. The proposed model efficiently incorporates prior knowledge of traffic scenarios into the algorithm through a graph model， allowing for precise description of heterogeneous interactions within traffic scenes. The model thoroughly considers the interaction between the vehicle's historical trajectories in the dynamic scene graph， the future trajectories of the ego vehicle， and the topological information of the vectorized map in the static scene graph. By utilizing an attention network， the model aggregates features from different nodes， achieving enhanced local-global feature fusion. Furthermore， TMTP represents driving intentions as target anchors， simplifying the complexity of the intention space. The proposed method was evaluated on the large-scale Argoverse motion forecasting benchmark. The results demonstrate thatthe model introduced in this paper outperforms the official benchmark model by 56.2% and 56.6% in metrics \mathrm{m}\mathrm{i}\mathrm{n}\mathrm{F}\mathrm{D}{\mathrm{E}}_{\mathrm{1}} and \mathrm{m}\mathrm{i}\mathrm{n}\mathrm{F}\mathrm{D}{\mathrm{E}}_{\mathrm{6}}， respectively， exhibiting an exemplary capability in accomplishing the task of trajectory prediction.

Graphical abstract

关键词

车辆工程 / 轨迹预测 / 目标锚点 / 图神经网络

Key words

vehicle engineering / trajectory prediction / target anchor / graph neural networks

0 引 言

轨迹预测是自动驾驶和机器人导航等领域的关键技术之一，它通过分析历史数据和实时信息来预测交通参与者在未来一段时间内的移动路径，这对于提高道路安全性和行驶效率、改善用户体验至关重要；准确的轨迹预测能够帮助系统提前识别并避免潜在的碰撞风险，同时在复杂的交通环境中做出更加合理和高效的决策。然而，轨迹预测具有固有的多模态性以及不确定性^［1-3］。尤其在高动态性和复杂性的城市工况下，单模态模型往往难以准确预测未来的轨迹，其输出结果可能趋近于各种意图的平均值，导致预测结果不准确。因此，多模态轨迹预测模型随之被广泛提出用于解决预测未来的不确定性问题，充分表示未来的预测空间^［4，5］。

近年来，受益于计算机视觉技术的发展，基于卷积神经网络CNN^［6-8］和长短期记忆网络（LSTM）^［9-11］的深度学习模型已经在处理序列数据和捕捉时间依赖性方面取得了显著的成果。然而，这些方法主要在欧氏空间内进行操作，往往忽略了交通环境中复杂的非欧几里得结构，即交通参与者之间的相互作用和道路拓扑结构。这种简化的空间假设限制了模型对交通场景中复杂关系和动态行为的理解和表达能力。

为了克服这些限制，图神经网络^{［12，13］}被专门设计用于处理图结构数据，它能够直接在非欧几里得空间中建模和学习复杂的拓扑关系。然而，大多数基于图的方法的缺点是它们依赖仅基于邻域和车辆距离构建的邻接矩阵来表示交互。这种方法可能无法充分反映车辆与地图之间动态交互的真实影响。

在轨迹预测领域，如何构建周围环境的精确上下文表示是至关重要的。一些深度学习方法尝试通过将场景和代理信息栅格化为图像风格来进行环境表示，其中不同的颜色用于区分车道线、障碍物和代理等环境元素^［14-16］。然而，栅格化图像的方法存在一些固有的缺陷，最主要的是有损编码问题。为了解决栅格化表示的局限性问题，最近的工作^［17-19］通过采用矢量化方法进行更紧凑的场景表示，矢量化表示使用数学模型来精确描述环境元素的几何形状和位置，如车道线、障碍物边缘和代理的轨迹点。

然而，现有基于图的方法在处理车辆交互时，往往解耦了预测和决策模块^{［20，21］}，忽略了未来可能发生的交互对当前轨迹预测的影响。再者，大多数研究都是通过预定义的驾驶意图来建模表征未来的驾驶行为，在多变和动态的交通环境中无法对所有的驾驶行为进行表示。因此，通过引入目标锚点驱动^{［22，23］}的轨迹预测方法，可以显著提高模型对交通场景的理解能力，目标锚点驱动通过识别和预测每个交通参与者的未来目标位置，使模型能够更加精准地捕捉到个体的行为动机和未来动向。

综上所述，现有轨迹预测方法还存在一些问题亟待解决：①规划和预测模块的解耦导致预测轨迹未能充分考虑自车未来规划对相邻车辆的潜在约束，这可能引发不安全的驾驶行为。②现有模型未能充分模拟车辆与环境因素（如地图）之间的复杂交互，限制了对交通场景的深入理解。③预定义的驾驶意图空间维度过高，降低了模型对驾驶异常行为的敏感性，难以适应多变的道路条件。为解决上述问题，本文提出了一种耦合自车运动趋势的目标锚点驱动的多模态轨迹预测方法，简称TMTP。首先，该模型将静态、动态交互场景图表征为复杂的、动态变化的图结构数据，用以捕捉和建模非欧空间中节点的复杂交互关系。其次，TMTP综合考虑历史时域和未来时域的车辆之间以及车辆和地图之间的交互。模型利用注意力聚合节点的特征信息，并生成潜在目标锚点候选集，进而生成不同模态下的轨迹。

1 运动预测理论阐述

本文模型架构如图1所示。该模型遵循目标锚点驱动这一特性，通过信息融合，使模型能更全面地捕捉和建模静态场景图和动态场景图的交互作用信息。

本文的目标是给定车辆的过去运动状态、自车的运动趋势以及交通场景图来预测场景中目标车辆的未来轨迹以及每条轨迹相对应的概率。与现有的工作不同，本文聚焦于聚合动态场景图中车辆的特征信息以及静态场景图中的地图特征信息去完成不同的任务。基于这种图结构表示方法，本文中图的节点信息不仅考虑了车辆的运动信息，还考虑了拓扑地图的远程特征信息，使得特征向量更具结构化和表现力，能够出色完成轨迹预测任务。

交互场景图是由静态道路和动态车辆两种不同类型的实体（即节点）和关系（即边）组成的异质图。异质图被定义为\mathrm{𝒢}=\left\{\mathrm{𝒰},\mathrm{ℰ}\right\}，其中，\mathrm{𝒰}和\mathrm{ℰ}分别代表节点集合和边集合。每个节点u\in \mathrm{𝒰}和每条边e\in \mathrm{ℰ}都与它们的映射函数\varphi (u):\mathrm{𝒰}\to U和\varphi (e):\mathrm{ℰ}\to E 相关联。U\mathrm{、}E分别表示节点类型集合和边类型集合，其中\left|\mathrm{𝒰}\right|+\left|\mathrm{ℰ}\right|>\mathrm{2}。边类型e:u\to v 表示源节点u指向目标节点v的关系。

动态交互场景图包括感兴趣区域中的所有车辆。车辆信息集\mathrm{𝒳}包括自车X_{\mathrm{0}}、目标车辆X_{\mathrm{1}}和其他所有感知的车辆\left\{X_{\mathrm{2}},X_{\mathrm{3}},\cdots ,X_{NS}\right\}，其中NS是其他感知智能体的数量。需要注意的是，本文一致编码局部视图中元素之间的相对关系，而不是处理绝对坐标。局部坐标的原点是目标车辆处于T_{\mathrm{o}\mathrm{b}\mathrm{s}}的位置。针对目标车辆，本文设定其历史轨迹信息：

X_i^{\mathrm{t}\mathrm{a}\mathrm{r}}=\left\{(\mathrm{\Delta }{x}_i^{\mathrm{t}\mathrm{a}\mathrm{r}},\mathrm{\Delta }{y}_i^{\mathrm{t}\mathrm{a}\mathrm{r}})\in R^{\mathrm{2}}|i=\mathrm{1,2},\cdots ,T_{\mathrm{o}\mathrm{b}\mathrm{s}}\right\}（1）

式中：X_i^{\mathrm{t}\mathrm{a}\mathrm{r}}为目标车辆在可观测时域内T_{\mathrm{o}\mathrm{b}\mathrm{s}}的历史轨迹；\mathrm{\Delta }{x}_i^{\mathrm{t}\mathrm{a}\mathrm{r}}和\mathrm{\Delta }{y}_i^{\mathrm{t}\mathrm{a}\mathrm{r}}分别为鸟瞰视角下的2D坐标（纵向和横向坐标）。x轴的正方向定义为自车的驱动方向，y轴为x轴逆时针旋转90°的方向。

设定对接近于目标车辆的其他障碍车辆的运动信息：

X_i^{\mathrm{n}\mathrm{b}\mathrm{r}}=\left\{(\mathrm{\Delta }{x}_i^{\mathrm{n}\mathrm{b}\mathrm{r}},\mathrm{\Delta }{y}_i^{\mathrm{n}\mathrm{b}\mathrm{r}})\in R^{\mathrm{2}}|i=\mathrm{1,2},\cdots ,T_{\mathrm{o}\mathrm{b}\mathrm{s}}\right\}（2）

式中：X_i^{\mathrm{n}\mathrm{b}\mathrm{r}}为临近车辆的历史轨迹信息，其组成部分和目标车辆一样。

此外，本文考虑了自车运动趋势是影响目标车辆未来驾驶行为的主要因素之一。

X_{T_{\mathrm{o}\mathrm{b}\mathrm{s}+i}}^{\mathrm{e}\mathrm{g}\mathrm{o}}=\left\{(\mathrm{\Delta }{x}_{T_{\mathrm{o}\mathrm{b}\mathrm{s}+i}}^{\mathrm{e}\mathrm{g}\mathrm{o}},\mathrm{\Delta }{y}_{T_{\mathrm{o}\mathrm{b}\mathrm{s}+i}}^{\mathrm{e}\mathrm{g}\mathrm{o}})\in R^{\mathrm{2}}|i=\mathrm{1,2},\cdots ,T_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}\right\}（3）

式中：X_{T_{\mathrm{o}\mathrm{b}\mathrm{s}+i}}^{\mathrm{e}\mathrm{g}\mathrm{o}}为自车在预测时域T_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}的轨迹坐标信息。本文采用数据集中自车后3 s的轨迹数据作为自车的未来轨迹。

场景信息集\mathrm{ℳ}包含矢量地图的节点信息{\mathrm{ℳ}}_{\mathrm{c}}以及邻接矩阵集{\mathrm{𝒮}}_{\mathrm{c}}。地图的节点信息是对道路中心线均匀采样而来。{\mathrm{ℳ}}_{\mathrm{c}}、{\mathrm{𝒮}}_{\mathrm{c}}分别表示了车道的几何特征以及道路之间的连接关系：

\begin{array}{l}{\mathrm{ℳ}}_{\mathrm{c}}=\left\{(\mathrm{\Delta }{x}_l,\mathrm{\Delta }{y}_l,u_l^{\mathrm{t}\mathrm{u}\mathrm{r}\mathrm{n}},u_l^{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{t}\mathrm{r}\mathrm{o}\mathrm{l}},u_l^{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{s}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}})\in \mathrm{𝒰}\right.\\ \left.\left|l=\mathrm{1,2},\cdots ,N_l^c\right.\right\}\end{array}（4）

{\mathit{𝒮}}_{\mathrm{c}}=\left\{({\mathrm{𝒮}}_{\mathrm{l}},{\mathrm{𝒮}}_{\mathrm{r}},{\mathrm{𝒮}}_{\mathrm{p}}^{\mathrm{1}:\mathrm{6}},{\mathrm{𝒮}}_{\mathrm{s}}^{\mathrm{1}:\mathrm{6}})\in \mathrm{ℰ}\right\}（5）

式中：\mathrm{\Delta }{x}_l\mathrm{、}\mathrm{\Delta }{y}_l为地图中第l个节点相对于目标车辆的相对位置；u_l^{\mathrm{t}\mathrm{u}\mathrm{r}\mathrm{n}}\mathrm{、}{u}_l^{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{t}\mathrm{r}\mathrm{o}\mathrm{l}}\mathrm{、}{u}_l^{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{s}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}}分别为第l个节点左转、右转时交通灯的信号，以及是否在十字路口；N_l^c为矢量地图节点的数量；{\mathrm{𝒮}}_{\mathrm{l}}\mathrm{、}{\mathrm{𝒮}}_{\mathrm{r}}分别表明了当前节点和左侧节点、右侧节点的连接关系；{\mathrm{𝒮}}_{\mathrm{p}}^{\mathrm{1}:\mathrm{6}}\mathrm{、}{\mathrm{𝒮}}_{\mathrm{s}}^{\mathrm{1}:\mathrm{6}}分别表明了当前节点和前后6阶邻居节点的连接关系。

预测模型的最终任务是输出预测时域中目标车辆的未来轨迹：

\left\{\begin{array}{l}p(y\left|\mathrm{𝒳},\mathrm{ℳ})\approx \sum _{g_i\in \mathrm{𝒢}}p(y\left|g_i,\mathrm{𝒳},\mathrm{ℳ})p(g_i\right|\mathrm{𝒳},\mathrm{ℳ})\right.\\ p(y\left|\mathrm{𝒳},\mathrm{ℳ})=\left\{(\mathrm{\Delta }{x}_{T_{\mathrm{o}\mathrm{b}\mathrm{s}+i}}^{\mathrm{t}\mathrm{a}\mathrm{r}},\mathrm{\Delta }{y}_{T_{\mathrm{o}\mathrm{b}\mathrm{s}+i}}^{\mathrm{t}\mathrm{a}\mathrm{r}},{\sigma }_{x,T_{\mathrm{o}\mathrm{b}\mathrm{s}+i}}^{\mathrm{t}\mathrm{a}\mathrm{r}},{\sigma }_{y,T_{\mathrm{o}\mathrm{b}\mathrm{s}+i}}^{\mathrm{t}\mathrm{a}\mathrm{r}},{\delta }_{T_{\mathrm{o}\mathrm{b}\mathrm{s}+i}}^{\mathrm{t}\mathrm{a}\mathrm{r}})\in \right.\right.\\ \left.R^{\mathrm{2}}\left|i=\mathrm{1,2},\cdots ,T_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}\right.\right\}\end{array}\right.（6）

式中：模型的输出是预测时域T_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}内的二元高斯分布；\mathrm{\Delta }{x}_{T_{\mathrm{o}\mathrm{b}\mathrm{s}+i}}^{\mathrm{t}\mathrm{a}\mathrm{r}}\mathrm{、}\mathrm{\Delta }{y}_{T_{\mathrm{o}\mathrm{b}\mathrm{s}+i}}^{\mathrm{t}\mathrm{a}\mathrm{r}}分别为x轴、y轴的均值；{\sigma }_{x,T_{\mathrm{o}\mathrm{b}\mathrm{s}+i}}^{\mathrm{t}\mathrm{a}\mathrm{r}}\mathrm{、}{\sigma }_{y,T_{\mathrm{o}\mathrm{b}\mathrm{s}+i}}^{\mathrm{t}\mathrm{a}\mathrm{r}}\mathrm{、}{\delta }_{T_{\mathrm{o}\mathrm{b}\mathrm{s}+i}}^{\mathrm{t}\mathrm{a}\mathrm{r}} 分别为方差和相关系数；\mathrm{𝒢}为一组有限的候选目标；p\left\{g_i|\mathrm{𝒳},\mathrm{ℳ}\right\}为目标锚点预测；p(y\left|g_i,\mathrm{𝒳},\mathrm{ℳ})\right.为以目标锚点、静态、动态交互场景图为条件的轨迹生成。上述所有轨迹信息均从被预测车辆的视角出发进行构建。

2 TMTP模型

本节将详细介绍TMTP模型，该模型通过整合自车的运动趋势以及对静态和动态交互场景的深入理解，实现对车辆未来运动的精准预测。

2.1　车辆编码模块

本节旨在介绍一种多尺度特征融合的车辆编码模块，该模块由卷积残差网络（Residual neural network，ResNet）和循环特征金字塔网络（Recurrent feature pyramid networks，RFPN）组成，该模块的目的是捕获目标车辆在密集交通中与其他因素之间的复杂时间和空间相关性，以实现密集交通中精确的轨迹预测。卷积残差网络和循环金字塔网络分别如图2、图3所示。ResNet有效解决了深层网络训练过程中的梯度消失和梯度爆炸问题。RFPN聚合不同尺度的特征，即从粗到细地捕捉图像的层次结构信息。该模块同时作用于其他车辆的历史轨迹信息和自车的未来轨迹信息。在卷积残差网络中，每一次卷积过后均进行组归一化和ReLu，共同增强网络的稳定性和表达能力。

2.2　矢量地图特征编码

本文通过矢量地图数据获取交通环境的几何信息和语义信息。具体来说，道路几何信息是由地图数据中车道段的一系列中心点组成。然而，车辆除了按照车道中心线行驶外，还需要将交通信息反馈到地图的节点中。本文将车道节点定义为中心线任意两个连续点形成的直线段。车道节点的位置是前后端点的平均值，这和LaneGCN^［19］采取一样的操作。本文对地图节点进行特征编码，对每一时间步需要考虑当前节点的位置以及前后节点所形成的方向。地图节点特征如下：

\begin{array}{l}{\widehat{u}}_i\leftarrow \sigma (W_{\mathrm{n}\mathrm{o}\mathrm{d}\mathrm{e}}(\oplus [W_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{e}\_\mathrm{n}\mathrm{o}\mathrm{d}\mathrm{e}}(\oplus [(x_i^{\mathrm{e}\mathrm{n}\mathrm{d}}-x_i^{\mathrm{s}\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{t}}),\\ (y_i^{\mathrm{e}\mathrm{n}\mathrm{d}}-y_i^{\mathrm{s}\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{t}}),\mathrm{t}\mathrm{a}\mathrm{n}({\theta }_i)])+\sigma (W_{\mathrm{l}\mathrm{o}\mathrm{c}\_\mathrm{n}\mathrm{o}\mathrm{d}\mathrm{e}}\oplus \\ [(x_i^{\mathrm{e}\mathrm{n}\mathrm{d}}-x_i^{\mathrm{s}\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{t}}),(y_i^{\mathrm{e}\mathrm{n}\mathrm{d}}-y_i^{\mathrm{s}\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{t}})]),u_i^{\mathrm{t}\mathrm{u}\mathrm{r}\mathrm{n}},\\ u_i^{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{t}\mathrm{r}\mathrm{o}\mathrm{l}},u_i^{\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{s}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}}])\end{array}（7）

式中：\sigma (\cdot )为LeakyReLu非线性激活函数和GroupNorm归一化函数；W_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{e}\_\mathrm{n}\mathrm{o}\mathrm{d}\mathrm{e}}\mathrm{、}{W}_{\mathrm{l}\mathrm{o}\mathrm{c}\_\mathrm{n}\mathrm{o}\mathrm{d}\mathrm{e}}分别为处理节点形状和位置对应的可学习权重参数；（x_i^{\mathrm{s}\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{t}},y_i^{\mathrm{s}\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{t}}）、（x_i^{\mathrm{e}\mathrm{n}\mathrm{d}},y_i^{\mathrm{e}\mathrm{n}\mathrm{d}}）分别为第i个节点的开始点和结束点；{\theta }_i为第i个节点的角度；{\widehat{u}}_i\in \mathit{U}为地图节点特征矩阵的第i行元素，表示其第i个节点。

本文通过感兴趣区域的节点位置索引信息，捕捉当前节点的一阶邻居信息，包括前后左右，以及n阶前、后邻居信息，并通过多尺度聚合模块集成邻居信息，使其能够捕捉远程的特征信息。

\begin{array}{l}\widehat{\mathit{U}}\leftarrow \mathit{U}{\mathit{W}}_{\mathrm{0}}+\sum _{i\in \mathrm{l}\mathrm{e}\mathrm{f}\mathrm{t},\mathrm{r}\mathrm{i}\mathrm{g}\mathrm{h}\mathrm{t}}\sigma ({\mathit{A}}_i\mathit{U}{\mathit{W}}_i)+\\ {\displaystyle \sum _{c=\mathrm{1}}^C}\sigma ({\mathit{A}}_{\mathrm{p}\mathrm{r}\mathrm{e}}^c\mathit{U}{\mathit{W}}_{\mathrm{p}\mathrm{r}\mathrm{e},c})+\sigma ({\mathit{A}}_{\mathrm{s}\mathrm{u}\mathrm{c}}^c\mathit{U}{\mathit{W}}_{\mathrm{s}\mathrm{u}\mathrm{c},c}))\end{array}（8）

式中：{\mathit{A}}_i\mathrm{、}{\mathit{W}}_i分别对应于第i个连接类型的邻接矩阵和权重矩阵；{\mathit{A}}_{\mathrm{l}\mathrm{e}\mathrm{f}\mathrm{t}}\mathrm{、}{\mathit{A}}_{\mathrm{r}\mathrm{i}\mathrm{g}\mathrm{h}\mathrm{t}}分别为相邻车道和本车道之间的信息流动，由于本文构建了多个尺度下源节点到目标节点的连接关系，可使得高阶邻居信息聚合到本节点上；C为扩张多尺度层的大小，表示依次从前、后扩张6次的邻居节点信息聚合到当前节点；\mathit{U}\mathrm{、}\widehat{\mathit{U}}分别为原节点特征矩阵和经过线性残差层后该节点的输出特征，该特征既保留了原始特征信息，又包含了多阶邻居特征信息。

2.3　车辆-地图交互模块

2.2节获取了新的节点表示，每个节点都包含了自身信息和相关节点的特征信息。然而，并不是所有的地图节点信息都与车辆相关，不相关的特征会使神经网络学习变得更加困难。因此，本文需要了解车辆和地图节点之间的连接关系。由于本文在历史轨迹信息基础上还加入了自车未来轨迹的约束作用，此连接关系包含每一时间步下车辆的历史轨迹信息和自车未来轨迹信息，对应于一定阈值内地图的节点关系。因此，需要融合地图的先验信息和多维度下的车辆运动信息。本文使用空间注意力机制有目的性地选择需要关注的元素，进而聚合智能体和地图的节点信息。本文通过欧几里得距离来选择车辆和地图节点的感兴趣特征集，这表明距离较近的节点对会有更大的影响，而距离较远的节点对的影响会减小。

（9）

式中：{\epsilon }_{\mathrm{t}\mathrm{h}}为感兴趣区域范围的阈值；d_i\mathrm{、}{d}_j分别为x_i\mathrm{、}{x}_j在局部坐标系中的坐标。

\begin{array}{r}{U}^{\mathrm{a}\mathrm{t}\mathrm{t}}=\varphi (U_{\mathrm{a}\mathrm{g}\mathrm{e}\mathrm{n}\mathrm{t}}+(\varphi (W_{\mathrm{R}\mathrm{O}\mathrm{I}}{U}_{\mathrm{R}\mathrm{O}\mathrm{I}})+\varphi (W_{\gamma }\\ (\oplus [U_{\mathrm{a}\mathrm{g}\mathrm{e}\mathrm{n}\mathrm{t}},U_{\mathrm{C}\mathrm{G}\mathrm{L}\mathrm{L}},\varphi (W_{\mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}}(d_i-d_j))]))))\end{array}（10）

式中：U_{\mathrm{a}\mathrm{g}\mathrm{e}\mathrm{n}\mathrm{t}}为智能体原始特征；U^{\mathrm{a}\mathrm{t}\mathrm{t}}为经过空间注意力的输出特征；\varphi为ReLU激活函数。

2.4　目标锚点集成模块

本节旨在预测未来轨迹分布的目标锚点，未来轨迹的运动模式可以由不同的目标锚点表征。由于车辆总是按照道路中心线行驶，因此，本文从地图节点信息（即道路中心线）中选择未来的目标锚点。目标锚点示意图如图4所示，首先生成锚点，即预测车辆在未来可能到达的关键位置，然后将这些关键位置作为重要的先验信息。利用这些锚点，该模型能够更精确地拟合车辆到达每个潜在位置的轨迹。与传统方法相比，这种方法除了车道保持、左转、右转等简单的预定义意图外，还能更深入地捕捉到个体的驾驶行为动机和未来动向，从而提供更为精确和细致的预测结果。

目标锚点集成模块主要分为：目标锚点分类模块以及目标锚点生成模块。目标锚点分类模块目的是对地图的节点信息进行从低到高的重要性排序，该模块主要是通过MLP网络和Sigmoid将地图节点输出分数映射为0-1。目标锚点生成模块是基于分类模块获得较高分数的节点特征、位置以及预测分数通过多头注意力模块进一步捕捉到局部特征和长距离依赖关系。

多头注意力模块用于捕捉不同子空间下的信息，以增强模型对目标车辆未来轨迹的预测能力。多头注意力模块如图5所示。针对多头注意力层，本文将目标锚点的分数、坐标以及特征组合在一起表示为一组查询Q、一组键K、一组值V，并通过缩放点积注意力层去挖掘目标锚点集之间的依赖关系。单个缩放点积注意力如式（11）所示：

\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(Q,K,V)=\underset{\mathrm{a}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}\mathrm{m}\mathrm{a}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{x}}{\underbrace{\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\frac{Q{K}^{\mathrm{T}}}{\sqrt[]{d_k}})}}V（11）

式中：Q{K}^{\mathrm{T}}为目标锚点之间的相似度得分，衡量它们之间的匹配程度；d_k为维度缩放因子。\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\cdot )将\frac{Q{K}^{\mathrm{T}}}{\sqrt[]{d_k}}转换为概率分布，来获取目标锚点之间的注意力权重。多头注意力并行执行缩放的点积注意力函数h次，每个注意力层均采用残差连接缓解梯度消失和提高模型的性能。

多头注意力公式如（12）所示：

\begin{array}{l}\mathrm{M}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}\mathrm{H}\mathrm{e}\mathrm{a}\mathrm{d}(Q,K,V)=(\oplus (\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_{\mathrm{1}},\cdots ,\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_h))W^{\mathrm{o}}\\ \mathrm{w}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{e}\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_i=\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(Q{W}_i^Q,K{W}_i^K,V{W}_i^V)\end{array}（12）

3 基于Argoverse数据集的实验分析

3.1　数据集

本文在大规模Argoverse^［24］运动预测基准评估本文算法，该基准提供了车辆和矢量地图的相关信息，数据集以10 Hz进行采样，并包含了327 790个场景，每个场景包含自动驾驶车辆5 s的行驶轨迹，并分为208 272条训练集、40 127条验证集、79 391条测试集。本文算法采用T_{\mathrm{o}\mathrm{b}\mathrm{s}}=\mathrm{2}\mathrm{s}\mathrm{、}{T}_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}=\mathrm{3}\mathrm{s}来预测多模态轨迹。Argoverse数据集场景图如图6所示。

3.2　实验细节

为了提高轨迹预测算法在未知场景中的有效性，本研究采用了数据增强技术。具体而言，通过对所有数据集进行随机旋转等操作，模拟了更多样化的交通场景，从而提升了模型对不同情境的适应性。所有实验均在Intel Core i5-13600KF CPU，NVIDIA GeForce RTX 4070 12 GB GPU，Ubuntu 20.04 LTS，Python 3.8，Pytorch 1.8，CUDA 11.7完成。为了适配大规模参数模型以及收敛快速，模型训练的具体超参数设置详见表1。

3.3　评价指标

本文使用最小平均位移误差（Average displacement error，minADE）、最小最终位移误差（Final displacement error，minFDE）和漏检率（Miss rate，MR）作为算法的评价指标。ADE为预测轨迹的每个坐标点与其对应的真值点之间的平均位移。\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{A}\mathrm{D}{\mathrm{E}}_K为预测的K个轨迹中最小ADE，\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{F}\mathrm{D}{\mathrm{E}}_K是K个预测轨迹和真值最终位置之间的最小位移。\mathrm{M}{\mathrm{R}}_{\mathrm{2},K}为地面真值端点与最佳预测端点之间的距离大于2.0 m的比率。K=1表示预测轨迹中最可能的一条轨迹，代表模型的最佳性能。K=k(k>\mathrm{1})表示前k个最可能的轨迹，可以更全面地评估模型的多样性。

\left\{\begin{array}{l}\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{A}\mathrm{D}{\mathrm{E}}_K=\underset{k\in \mathrm{1,2},\cdots ,K}{\mathrm{m}\mathrm{i}\mathrm{n}}(\frac{\mathrm{1}}{N{T}_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}}{\displaystyle \sum _{t=\mathrm{1}}^{T_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}}}{\displaystyle \sum _{i=\mathrm{1}}^N}\Vert p_{i,t}-({\widehat{p}}_{i,t}{)}_k{\Vert }_{\mathrm{2}})\\ \mathrm{m}\mathrm{i}\mathrm{n}\mathrm{F}\mathrm{D}{\mathrm{E}}_K=\underset{k\in \mathrm{1,2},\cdots ,K}{\mathrm{m}\mathrm{i}\mathrm{n}}\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}\Vert p_{i,T_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}}-({\widehat{p}}_{i,T_{i,T_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}}}{)}_k{\Vert }_{\mathrm{2}}\\ \mathrm{M}{\mathrm{R}}_{\mathrm{2},K}=\frac{\mathrm{1}}{N}{\rm I}[({‖p_{i,T_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}}-({\widehat{p}}_{i,T_{i,T_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}}}{)}_{k\mathrm{*}}‖}_{\mathrm{2}})>\mathrm{2}]\end{array}\right.（13）

式中：I(·)为指示函数，仅{‖p_{i,T_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}}-({\widehat{p}}_{i,T_{i,T_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}}}{)}_{k\mathrm{*}}‖}_{\mathrm{2}}大于2时等于1。

3.4　基础模型

为了验证TMTP算法的有效性，本文将TMTP与近几年的先进算法模型进行了比较。

（1）Nearest-neighbor（NN） regression（Argoverse Baseline）^［24］：该模型是Argoverse官方提供的基准模型。

（2）Target-driven trajectory（TNT）^［23］：通过预测目标状态、条件轨迹生成和轨迹评分选择3个阶段来实现对移动代理未来轨迹的多模态预测模型。

（3）THOMAS^［25］：通过层次化的热图解码和可学习的轨迹重组模块构成的一种联合多智能体轨迹预测框架。

（4）GoHome^［14］：一种基于图表示和稀疏投影的轨迹预测方法。

3.5　定性分析

为了评估本文模型能够捕捉轨迹的多模态关键特征，同时让模型在场景下的表现更易被理解，本文基于Argoverse数据集进行了定性实验，定性实验如图7所示。图7（a）~（c）、（d）~（f）、（g）~（i）中本文分别给出了T型路口、十字路口以及其他复杂道路场景下EVMT-GAT生成的合理未来运动结果。绿线标记是模型给出的多个预测轨迹，实线红线表示被预测车辆未来3 s的真实轨迹，蓝色实线代表被预测车辆2 s的历史轨迹，淡粉色和深粉色分别代表自车2 s的历史轨迹和3 s的未来轨迹。每个潜在轨迹均给出对应的概率，且所有轨迹总概率和为1。从图7中可以看出，TMTP能很好地捕捉到车道内的不同行为模式。

3.6　定量分析

为了量化模型预测的轨迹和实际轨迹之间的差异，通过一些指标对本文模型进行了定量实验。在Argoverse运动预测数据集中，本文进行了一项深入的比较研究，旨在评估本文模型与其他先进模型在minADE和minFDE两个关键性能指标上的表现。为了全面评估模型的性能，本文评估当K=\mathrm{1}和K=\mathrm{6}时模型在未来3 s的\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{A}\mathrm{D}{\mathrm{E}}_K、\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{F}\mathrm{D}{\mathrm{E}}_K、\mathrm{M}{\mathrm{R}}_{\mathrm{2},K}。基于Argoverse的定量实验结果如表2所示，所有评估指标数值越低，代表性能越好。相比于官方基准模型-Nearest-neighbor，当K=\mathrm{1}时，本文模型在\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{A}\mathrm{D}{\mathrm{E}}_{\mathrm{1}}\mathrm{、}\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{F}\mathrm{D}{\mathrm{E}}_{\mathrm{1}}\mathrm{、}\mathrm{M}{\mathrm{R}}_{\mathrm{2,1}}上分别提升了51.9%、56.2%、35.9%。当K=\mathrm{6}时，本文模型在\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{A}\mathrm{D}{\mathrm{E}}_{\mathrm{6}}\mathrm{、}\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{F}\mathrm{D}{\mathrm{E}}_{\mathrm{6}}\mathrm{、}\mathrm{M}{\mathrm{R}}_{\mathrm{2,6}}分别上提升了44.4%、56.6%、80.6%，这主要归功于本文融合了地图和车辆信息。与TNT相比，当K=\mathrm{1}时，本文模型在\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{A}\mathrm{D}{\mathrm{E}}_{\mathrm{1}}\mathrm{、}\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{F}\mathrm{D}{\mathrm{E}}_{\mathrm{1}}\mathrm{、}\mathrm{M}{\mathrm{R}}_{\mathrm{2,1}}上分别提升了23.69%、30.4%、21.2%。当K=\mathrm{6}时，本文模型在\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{A}\mathrm{D}{\mathrm{E}}_{\mathrm{6}}、\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{F}\mathrm{D}{\mathrm{E}}_{\mathrm{6}}、\mathrm{M}{\mathrm{R}}_{\mathrm{2,6}}上分别提升了3.5%、1.8%、6.2%，这是因为本文模型考虑了自车的未来规划信息。与GOHome相比，当K=\mathrm{1}时，本文模型在\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{A}\mathrm{D}{\mathrm{E}}_{\mathrm{1}}、\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{F}\mathrm{D}{\mathrm{E}}_{\mathrm{1}}、\mathrm{M}{\mathrm{R}}_{\mathrm{2,1}}上分别提升了1.7%、5.4%、2.3%。当K=\mathrm{6}时，本文模型在\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{A}\mathrm{D}{\mathrm{E}}_{\mathrm{6}}、\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{F}\mathrm{D}{\mathrm{E}}_{\mathrm{6}}、\mathrm{M}{\mathrm{R}}_{\mathrm{2,6}}上分别提升了2.8%、1.5%、0.9%，这是因为在解码器中本文采用目标锚点代替了热力图。与THOMAS相比，当K=\mathrm{1}时，本文模型在\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{A}\mathrm{D}{\mathrm{E}}_{\mathrm{1}}\mathrm{、}\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{F}\mathrm{D}{\mathrm{E}}_{\mathrm{1}}\mathrm{、}\mathrm{M}{\mathrm{R}}_{\mathrm{2,1}}上分别提升了0.5%、4.0%、0.4%。当K=\mathrm{6}时，本文模型在\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{A}\mathrm{D}{\mathrm{E}}_{\mathrm{6}}\mathrm{、}\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{F}\mathrm{D}{\mathrm{E}}_{\mathrm{6}}\mathrm{、}\mathrm{M}{\mathrm{R}}_{\mathrm{2,6}}上分别提升了-0.7%、0.8%、0.9%。由于THOMAS对多个智能体进行联合预测，导致本文模型的\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{A}\mathrm{D}{\mathrm{E}}_{\mathrm{6}}高于THOMAS方法，但是在其他各项指标下，TMTP均低于其余各种方法。数值越低，表明该模型的预测精度和多模态特性越好，越符合人类的驾驶行为。

定量分析实验结果证明，本文模型在诸多指标下的实验性能均优于列出的先进模型，展示了巨大的未来行为预测空间，表现出了强大的多模态轨迹预测能力。

4 结束语

本文提出了一种耦合自车运动趋势目标锚点驱动的注意力网络多模态轨迹预测方法。该模型遵循编码器-解码器架构，能更全面地捕捉和建模静态场景图和动态场景图的交互作用信息。该方法将目标锚点作为先验知识，并结合地图上下文信息的车辆特征解码出目标车辆未来多模态轨迹分布。相比于官方基准模型，TMTP在\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{A}\mathrm{D}{\mathrm{E}}_{\mathrm{1}}和\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{A}\mathrm{D}{\mathrm{E}}_{\mathrm{6}}上分别提升了56.2%、56.6%。本文证明了TMTP在理解高动态性和复杂性的交通环境方面表现出色，显著提升了轨迹预测的准确性，并增强了模型的解释能力。此外，TMTP在Argoverse运动预测基准测试中表现出了先进的性能，验证了该模型在实际应用中的潜力。尽管本文的模型在多模态轨迹预测方面取得了显著的成果，但是在新的或未见过的场景中泛化能力不足。因此，未来轨迹预测的重心将集中在深化上下文信息的利用上，从而更准确地捕捉和推理社会属性和交互行为，研究意图驱动的预测模型，以提高长期预测的准确性，增强模型的泛化能力和自适应学习能力。

参考文献

[1] Huang Y, Du J, Yang Z, et al. A survey on trajectory-prediction methods for autonomous driving[J]. IEEE Transactions on Intelligent Vehicles, 2022, 7(3): 652-674.

[2] Gao Z, Bao M, Cui T, et al. Collision risk assessment for intelligent vehicles considering multi-dimensional uncertainties[J]. IEEE Access, 2024, 12: 57780-57795.

[3] 高镇海, 鲍明喜, 高菲, 等. 基于LSTM概率多模态预期轨迹预测方法[J]. 汽车工程, 2023, 45(7): 1145-1152, 1162.

[4] Gao Zhen-hai, Bao Ming-xi, Gao Fei, et al. The method of probabilistic multi-modal expected trajectory prediction based on LSTM[J].Automotive Engineering, 2023, 45(7): 1145-1152, 1162.

[5] Gao Z H, Bao M X, Gao F, et al. Probabilistic multi-modal expected trajectory prediction based on LSTM for autonomous driving[J]. Proceedings of the Institution of Mechanical Engineers, Part D: Journal of Automobile Engineering,2023,238(9): 2817-2828.

[6] Jia X, Wu P, Chen L, et al. HDGT: heterogeneous driving graph transformer for multi-agent trajectory prediction via scene encoding[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(11): 13860-13875.

[7] Deo N, Trivedi M M. Convolutional social pooling for vehicle trajectory prediction[C]∥IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops(CVPRW), Salt Lake City, USA, 2018: 1581-1589.

[8] Cai Y, Wang Z, Wang H, et al. Environment-attention network for vehicle trajectory prediction[J]. IEEE Transactions on Vehicular Technology, 2021, 70(11): 11216-11227.

[9] Zhong Z, Luo Y, Liang W. STGM: vehicle trajectory prediction based on generative model for spatial-temporal features[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(10): 18785-18793.

[10] Deo N, Trivedi M M. Multi-modal trajectory prediction of surrounding vehicles with maneuver based LSTMs[C]∥IEEE Intelligent Vehicles Symposium (IV),Changshu, China, 2018:1179-1184.

[11] Wang Y, Wang J, Jiang J, et al. SA-LSTM: a trajectory prediction model for complex off-road multi-agent systems considering situation awareness based on risk field[J]. IEEE Transactions on Vehicular Technology, 2023, 72(11): 14016-14027.

[12] Lin L, Li W, Bi H, et al. Vehicle trajectory prediction using LSTMs with spatial-temporal attention mechanisms[J]. IEEE Intelligent Transportation Systems Magazine, 2022, 14(2): 197-208.

[13] Wu Z, Pan S, Chen F, et al. A comprehensive survey on graph neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2021, 32(1): 4-24.

[14] Zhou J, Cui G, Hu S, et al. Graph neural networks: a review of methods and applications[J]. AI Open, 2020, 1(1): 57-81.

[15] Gilles T, Sabatini S, Tsishkou D, et al. GOHOME: graph-oriented heatmap output for future motion estimation[C]∥International Conference on Robotics and Automation(ICRA),Philadelphia, USA, 2022: 9107-9114.

[16] Gilles T, Sabatini S, Tsishkou D, et al. HOME: heatmap output for future motion estimation[C]∥IEEE International Intelligent Transportation Systems Conference(ITSC), Indianapolis, USA,2021: 500-507.

[17] Hong J, Sapp B, Phibin J. Rules of the road: predicting driving behavior with a convolutional model of semantic interactions[C]∥IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),Long Beach, USA, 2019: 8446-8454 .

[18] Zhang L, Li P, Chen J, et al. Trajectory prediction with graph-based dual-scale context fusion[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS), Kyoto, Japan,2022: 11374-11381 .

[19] Gu J, Sun C, Zhao H. DenseTNT: end-to-end trajectory prediction from dense goal sets[C]∥IEEE/CVF International Conference on Computer Vision (ICCV), Online,2021:15283-15292.

[20] Liang M, Yang B, Hu R, et al. LaneGCN:learning lane graph representations for motion forecasting[C]∥ The 16th European Conference on Computer Vision, Glasgow, UK, 2020: 541-556.

[21] Song H, Ding W, Chen Y, et al. PiP: planning-informed trajectory prediction for autonomous driving[C]∥The 16th European Conference on Computer Vision, Glasgow, UK, 2020: 598-614.

[22] Guo H, Meng Q, Cao D, et al. Vehicle trajectory prediction method coupled with ego vehicle motion trend under dual attention mechanism[J]. IEEE Transactions on Instrumentation and Measurement,2022, 71: 1-16.

[23] Zhang L, Su P H, Hoang J, et al. Map-adaptive goal-based trajectory prediction[J/OL].[2024-05-26].

[24] Zhao H, Gao J, Lan T, et al. TNT: Target-driveN trajectory prediction[C]∥IEEE Conference on Robot Learning,London, UK,2021: 895-904.

[25] Chang M F, Ramanan D, Hays J, et al. Argoverse: 3D tracking and forecasting with rich maps[C]∥IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), Long Beach, USA,2019:8740-8749.

[26] Gilles T, Sabatini S, Tsishkou D, et al. THOMAS: trajectory heatmap output with learned multi-agent sampling[J/OL].[2024-05-26].

基金资助

国家自然科学基金项目(52394261)

国家自然科学基金项目(52202494)

国家自然科学基金项目(52202495)

吉林省科技发展计划项目(202302013)