基于LC‒Transformer模型的高速公路短时交通流预测

Short Term Traffic Flow Prediction on Highways Based on LC‒Transformer Model

摘要

随着城市经济的迅猛发展和私家车保有量的持续增加，城市交通流的准确预测对缓解交通拥堵、提高出行效率及保障交通安全有着重要意义。传统的交通流预测方法在处理复杂的时空动态关系和天气、交通事故等外部因素影响时，往往依赖线性假设或静态模型，难以同时刻画交通流中非线性时空演化机制与多因素信息的融合特征，导致预测精度和泛化能力受限。为此，本文提出一种基于LC‒Transformer模型的短时交通流预测方法。该模型结合了长短期记忆网络（LSTM）、条件变分自编码器（CVAE），以及交通历史事故、流量、天气数据，旨在更好地捕捉交通流中的非线性关系、时空动态性及多因素融合特征，提升对复杂交通场景的适应性和预测准确性。实验结果表明，LC‒Transformer模型能够考虑多因素特征数据，与随机森林（RF）、扩散卷积循环神经网络（DCRNN）、时空图卷积网络（STGCN）等多个模型相比，平均绝对误差、均方根误差及平均绝对百分比误差3个评价指标平均降低了3.340 3、5.419 7和0.022 0，提高了交通流预测的精度和鲁棒性。

Abstract

Objective Accurate short-term traffic flow forecasting is essential for alleviating urban congestion, optimizing transportation efficiency, and ensuring road safety. However, existing traffic prediction methods exhibit limitations in modeling complex nonlinear spatiotemporal dynamics and incorporating external factors. Traditional approaches tend to rely on linear assumptions or static structures, making them insufficient for capturing long-range temporal dependencies and integrating multifactor information such as weather conditions and traffic accidents. Therefore, this study proposes a deep learning model based on an enhanced Transformer architecture, namely LC‒Transformer, which aims to improve prediction accuracy and robustness under complex traffic scenarios. Methods The LC‒Transformer model integrated three key components: 1) Long Short‒Term Memory (LSTM) networks to extract short- and long-term dependencies in traffic time series; 2) Conditional Variational Autoencoders (CVAE) to capture complex probabilistic features from multivariate weather data; and 3) traffic accident embeddings to account for historical incident impacts. The traffic flow input was fused with learned representations from the CVAE and accident embeddings before being passed through a multi-head self-attention mechanism, which enabled the model to dynamically learn temporal relevance under multifactor conditions. The model was trained and evaluated using two real-world datasets from the California PeMS system, PEMS01 and PEMS02, which covered highway segments with rich spatiotemporal and contextual data. Four widely adopted metrics were utilized to evaluate prediction performance: Mean Absolute Error (MAE), Root Mean Square Error (RMSE), Mean Absolute Percentage Error (MAPE), and the coefficient of determination (R²). Results and Discussions Experimental results demonstrated that the LC‒Transformer outperformed both classical machine learning models (Decision Tree and Random Forest) and mainstream deep learning models (LSTM, GRU, and STGCN). On the experiment datasets, the model achieved an MAE of 17.931 and an R² of 0.953, showing substantial improvements over baseline models such as LSTM (E_MAE=23.310, R²=0.780), Random Forest (E_MAE=25.103, R²=0.698), and STGCN (E_MAE=19.412, R²=0.912). In addition, two state-of-the-art (SOTA) Transformer-based models, Informer and Autoformer, were included for comparative evaluation. Although both models performed competitively because of their long-range modeling capabilities, they did not explicitly incorporate external factors. Their MAE values (18.624 and 18.312) and R² values (0.931 and 0.937) were slightly lower than those of the LC‒Transformer, confirming the importance of multifactor fusion in real-world traffic forecasting tasks. A multi-head attention visualization analysis was also conducted to improve interpretability. The attention maps revealed that different heads focused on distinct temporal features. Some emphasized adjacent time steps, reflecting short-term continuity, whereas others highlighted distant intervals, such as the influence of early morning conditions on peak-hour traffic flow. These findings demonstrated the model's ability to capture both short-term patterns and latent long-term interactions that were potentially influenced by weather and incident conditions. Ablation studies further confirmed the contribution of each component. Removing the LSTM reduced temporal learning capability, excluding the CVAE weakened the model's responsiveness to weather variations, and omitting external features significantly degraded prediction accuracy, particularly under changing environmental conditions. Conclusions The LC‒Transformer model presents an effective solution for short-term traffic flow forecasting under complex conditions. Its hybrid architecture enables robust learning of nonlinear spatiotemporal dependencies and facilitates the seamless integration of multiple external factors. Compared to existing models, it provides higher prediction accuracy, stronger generalization capability, and improved interpretability through attention visualization. This research not only contributes a novel modeling framework but also provides practical insights for real-time traffic management and intelligent transportation systems (ITS). Although this study incorporated weather and accident data as external features, additional influencing factors, such as public holidays, road events, and unexpected incidents (construction activities and protests), can further enhance the model's adaptability. Future research will focus on extending the current architecture to accommodate these context-sensitive variables through hierarchical attention or adaptive gating mechanisms.

Graphical abstract

关键词

交通流预测 / 深度学习 / LC‒Transformer模型 / 时空动态性 / 多因素数据 / 自注意力机制

Key words

traffic flow prediction / deep learning / LC‒Transformer model / spatiotemporal dynamics / multi-factor data / self-attention mechanism

本刊网刊

随着城市化进程的不断推进和私家车数量的持续增长，城市交通拥堵问题日益严重，准确预测交通流对提升道路利用效率、减少交通事故和优化城市交通管理具有重要意义。传统的交通流预测方法在捕捉交通流中的动态时空关系和处理复杂的外部因素时存在明显不足，难以实现高精度预测。此外，现有的基于单一模型的预测方法往往忽视了交通流中多因素的耦合影响，限制了模型的适用性和预测效果。针对上述问题，研究者们从传统时间序列模型、机器学习模型和深度学习模型等方面提出了多种短时交通流预测方法^[1]。

传统交通流预测模型主要基于时间序列分析，如自回归积分滑动平均（ARIMA）模型、卡尔曼滤波（KF）模型等。这些模型能够捕捉交通流数据中的时间依赖性，并提供较为准确的短时预测。ARIMA模型通过对时间序列的线性拟合，可以有效处理交通流的周期性变化^[2]。例如，陈昆等^[3]建立了一种将ARIMA与支持向量机（SVM）结合的断面交通流预测模型，显著提高了预测精度。KF模型利用滤波技术，广泛应用于动态变化交通流量的实时预测^[4]。尽管这些模型具有一定的预测能力，但其大多将交通流假设为线性过程，难以应对复杂的非线性数据。为了弥补这一不足，研究者们提出了许多改进的传统预测方法，如加权移动平均（WMA）和指数平滑法（ETS）等^[5]。这些方法在一定程度上提高了对非线性交通流数据的处理能力，但仍无法处理大量的异质数据或捕捉复杂的空间依赖性。

随着数据挖掘技术的发展，机器学习方法逐渐应用于交通流预测中。常见的机器学习算法包括SVM、随机森林（RF）、决策树（DT）等。这些算法能够处理非线性特征并较好地适应复杂的交通流数据。SVM通过最大化分类边界的距离，在交通流预测中展现了强大的泛化能力^[6]。此外，郭翠玲^[7]还通过引入核函数扩展SVM的应用范围，提升了其对非线性数据的处理能力。RF作为一种集成学习方法，通过构建多棵决策树并对其结果进行加权平均，提高了预测的准确性和鲁棒性^[8]。例如，田佳等^[9]使用RF对交通流量进行预测，并取得了较好的预测效果。尽管机器学习模型能够处理非线性和高维数据，但在捕捉交通流的时间序列和空间依赖方面表现不佳。为了解决这一问题，殷礼胜等^[10]提出了基于回归的模型组合方法，将多种机器学习模型结合起来，以提升模型的预测性能。

近年来，深度学习模型在交通流预测中获得了广泛应用^[11]，尤其是长短期记忆网络（LSTM）、卷积神经网络（CNN），以及基于图结构的时空图卷积网络（STGCN）。这些模型能够同时捕捉交通流数据的时间依赖和空间依赖，提高预测的准确性。LSTM通过其内置的记忆单元有效解决了时间序列中的长期依赖问题，已广泛应用于短时交通流预测^[12]。例如：张阳等^[13]提出图卷积网络（GCN）与双向长短时记忆网络（BiLSTM）组合的短时交通流预测模型，能够很好地适应和处理具有不同时空特性的交通流。CNN通过卷积操作提取数据的局部特征，适合处理空间依赖性强的交通流数据^[14]。李浩文等^[15]将LSTM和CNN结合，提出了时空卷积网络（STCNN），实现了对交通流数据时空特征的联合建模。此外，Transformer模型在捕捉长时间序列依赖方面表现出色，逐渐成为交通流预测领域的热门选择^[16]。该模型通过自注意力机制动态关注不同时间步的数据，提升了长时间序列依赖问题的处理能力^[17]。张鸣剑等^[18]提出了基于Transformer的交通流预测模型，并通过大量实验验证了其在长时交通流预测中的优越性。

影响交通流量的外部因素有交通事故、天气条件、路面抛洒、节假日和大型活动等，本文聚焦于交通事故和天气条件两个关键外部因素。这一选择主要基于已有研究对其显著影响力的广泛验证^[19]，以及其在多源交通数据融合中的代表性与可扩展性。其他突发因素^[20]虽然可能对交通流量产生短期扰动，但因其发生频率相对较低，故未详细讨论。

综上所述，基于目前交通流预测技术的飞速发展，学者根据不同需求研究出侧重点各异的预测模型。但传统的时间序列、机器学习及深度学习模型在处理长距离依赖性、空间关系及时空耦合等问题时存在一定缺陷。例如，循环神经网络（RNN）在处理长时依赖性时可能会面临梯度消失或梯度爆炸问题，导致难以捕捉长时间范围内的交通流动态。引入外部因素建立的预测模型对外部因素与模型间的权重关系考虑不足，适用性有限。事实上，外部因素对交通系统的影响是显而易见的，各个因素间也存在权重各异的关系。因此，建立一种基于交通事故、天气特征数据的组合预测模型十分必要。

基于上述分析，本文主要贡献如下：

1）在Transformer模型的基础上融合LSTM网络，利用LSTM网络的门控机制更好地提取时间序列中的短期和长期依赖关系，从而弥补Transformer模型在短期时间序列处理上的不足。通过这种融合结构，在保持Transformer模型捕捉长距离依赖优势的同时，增强了模型对短期变化和波动的敏感性，提升了整体预测性能。

2）引入条件变分自编码器（CVAE）处理天气数据。CVAE能够有效捕捉复杂的多维条件概率分布，生成更具代表性的天气特征，从而更好地反映天气条件对交通流量的影响。通过将CVAE提取的外部特征嵌入模型的Embedding层，能够动态调整对不同天气条件的响应，提高在复杂环境条件下的预测精度。

3）提出一种特征融合策略，通过处理交通事故数据并生成低维特征表示，然后与LSTM网络提取的时序特征、Transformer模型生成的空间特征进行融合，增强了模型对交通事故影响的预测能力。

1 模型结构

1.1 LC‒Transformer模型

本文提出了一种用于预测短时交通流的LC‒Transformer模型。图1为LC‒Transformer模型流程图。图1中：{\mathit{x}}_t为输入的交通流量特征向量，下标t为当前时间步；c_t为LSTM的单元状态；{\tilde{c}}_t为候选单元状态；c_{t-\mathrm{1}}为上一时间步的单元状态；h_t为隐藏状态；f_t为遗忘门输出；i_t为输入门输出；o_t为输出门输出；\sigma为sigmoid激活函数；x为CVAE的输入变量；y为条件变量；z为隐变量；p_{\theta }(z|x)为条件先验分布，下标θ为条件先验网络参数；p_{\varphi }(y|x,z)为条件生成分布，下标\varphi为解码器网络参数；q_{\phi }(z|x,y)为近似后验分布，下标\phi为编码器网络参数；tanh为激活函数。

该模型基于Transformer架构，结合LSTM和CVAE。LSTM用于提取交通流数据中的时间序列特征。LSTM通过其独特的门控机制，可以有效捕捉时间序列数据中的长短期依赖关系，解决了传统RNN模型在处理长序列数据时的梯度消失和梯度爆炸问题。CVAE用于对天气数据进行特征提取，将天气影响嵌入交通流预测模型。CVAE通过将输入数据映射到一个潜在空间，生成包含天气影响的特征表示，使模型能够更好地适应外部环境的变化；同时，引入交通历史事故数据作为额外的输入特征，通过ST‒Embedding层将其转化为高维特征表示，以捕捉事故发生对交通流的潜在影响。Transformer模型用于捕捉输入数据中的全局关系。Transformer模型采用多头自注意力机制，可以高效并行处理长序列数据，克服传统模型在处理长距离依赖关系时的局限性。通过这种组合，LC‒Transformer模型不仅能够捕捉复杂的时空依赖关系，还能解决长距离依赖和外部环境变化对交通流预测的影响。

1.2 时空特征提取

1.2.1 LSTM

在交通流预测中，车辆流量数据往往呈现出明显的周期性和趋势性。LSTM^[21]通过其记忆单元能够捕捉这些短期和长期的时间依赖。尤其是在高速公路交通流中，车辆密度的突然波动对预测提出了更高的要求。因此，引入LSTM用于提取交通流数据中的时序特征，通过其门控机制能够有效过滤噪声信息，处理时间序列中的短期和长期依赖关系，更好地捕捉交通流量的动态变化^[22]。

在LSTM模型中，每个LSTM单元包含3个门：遗忘门（forget gate）、输入门（input gate）和输出门（output gate）。这些门通过控制信息的流动，实现选择性地记忆或遗忘输入序列中的信息，从而有效地提取时间序列特征。

遗忘门决定当前单元状态需要遗忘多少信息，如式（1）所示：

f_t=\sigma ({\mathit{W}}_{\mathrm{f}}\cdot [h_{t-\mathrm{1}},{\mathit{x}}_t]+b_{\mathrm{f}})（1）

式中，{\mathit{W}}_{\mathrm{f}}为遗忘门权重矩阵，h_{t-\mathrm{1}}为上一时间步的隐藏状态，b_{\mathrm{f}}为遗忘门对应的偏置项。

输入门决定需要更新多少新信息到单元状态中，如式（2）、（3）所示：

i_t=\sigma ({\mathit{W}}_{\mathrm{i}}\cdot [h_{t-\mathrm{1}},{\mathit{x}}_t]+b_{\mathrm{i}})（2）

{\tilde{c}}_t=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}({\mathit{W}}_{\mathrm{c}}\cdot [h_{t-\mathrm{1}},{\mathit{x}}_t]+b_{\mathrm{c}})（3）

式（2）、（3）中，{\mathit{W}}_{\mathrm{i}}\mathrm{和}{\mathit{W}}_{\mathrm{c}}均为输入门权重矩阵，b_i和b_c均为输入门对应的偏置项。

通过结合遗忘门和输入门的输出来更新单元状态，如式（4）所示：

c_t=f_t\cdot c_{t-\mathrm{1}}+i_t\cdot {\tilde{c}}_t（4）

输出门决定当前时刻的隐藏状态，如式（5）、（6）所示：

o_t=\sigma ({\mathit{W}}_{\mathrm{o}}\cdot [h_{t-\mathrm{1}},{\mathit{x}}_t]+b_{\mathrm{o}})（5）

h_t=o_t\cdot \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}{c}_t（6）

式（5）、（6）中， W_o为输出门权重矩阵，b_o为输出门对应的偏置项。

1.2.2 Transformer模型

LSTM的输出即为最后时刻的h_t，作为Transformer模型的交通流特征输入，以更好地捕捉交通流的全局时空依赖关系^[23]。其中，自注意力机制通过计算输入特征间的相关性来生成加权和。每个输入向量通过线性变换生成3个向量：查询（query，记为 Q ）、键（key，记为 K ）和值（value，记为 V ）。输入特征序列 X 通过线性变换生成查询矩阵 Q 、键矩阵 K 和值矩阵 V，如式（7）所示：

\mathit{Q}=\mathit{X}{\mathit{W}}^{\mathrm{Q}},\mathit{K}=\mathit{X}{\mathit{W}}^{\mathrm{K}},\mathit{V}=\mathit{X}{\mathit{W}}^{\mathrm{V}}（7）

式中，{\mathit{W}}^{\mathrm{Q}}、{\mathit{W}}^{\mathrm{K}}、{\mathit{W}}^{\mathrm{V}}分别为查询矩阵、键矩阵和值矩阵的权重矩阵， X 为输入序列。

通过将查询向量与所有键向量进行点积运算并除以一个缩放因子来计算输入之间的相关性，并根据每个元素的重要性来加权值向量，即将归一化的注意力分数与 V 相乘，如式（8）所示：

\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(\mathit{Q},\mathit{K},\mathit{V})=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{\mathit{Q}{\mathit{K}}^{\mathrm{T}}}{\sqrt[]{d_K}}\right)\mathit{V}（8）

式中：Attention(·)为缩放点积注意力函数；softmax(·)用于将相似度得分归一化为概率分布形式；\frac{\mathit{Q}{\mathit{K}}^{\mathrm{T}}}{\sqrt[]{d_K}}为缩放后的注意力得分矩阵，d_K为 K 的维度，\sqrt[]{d_K}用于维度缩放以保证梯度稳定。

1.3 外部因素特征

1.3.1 CVAE

CVAE是一种生成模型架构^[24]，旨在通过将输入数据映射到一个潜在空间来生成条件数据。CVAE结合了变分自编码器（VAE）和条件生成模型的优势，广泛应用于图像生成、文本生成和时序数据生成等领域^[25]。CVAE由编码器、解码器和条件先验网络3部分组成。

编码器将输入数据x和条件输入y编码为隐变量z的后验分布q(z∣x,y)：

q(z\mid x,y)=N(z;\mu (x,y),{\sigma }^{\mathrm{2}}(x,y))（9）

式中，\mu (x,y)和{\sigma }^{\mathrm{2}}(x,y)为由神经网络生成的均值和方差，N(·)为高斯分布。

解码器根据隐变量z和条件输入y生成数据的条件概率分布p(x∣z,y)：

p(x\mid z,y)=N(x;\mu \mathrm{\text{'}}(z,y),\sigma {\mathrm{\text{'}}}^{\mathrm{2}}(z,y))（10）

式中，\mu \text{'}(z,y)和\sigma {\text{'}}^{\mathrm{2}}(z,y)为由神经网络生成的均值和方差。

在训练过程中，CVAE通过最大化变分下界（ELBO）来优化模型参数，ELBO的计算方法如下：

L={E_q}_{(z|x,y)}[\mathrm{l}\mathrm{n}p(x|z,y)]-D_{\mathrm{K}\mathrm{L}}(q(z|x,y),p(z|y))（11）

式中：E_{q(z|x,y)}为近似后验分布下的数学期望；D_KL(·)为Kullback‒Leibler散度，用于衡量后验分布q(z∣x,y)与先验分布p(z∣y)之间的差异。

1.3.2 天气数据特征

数据嵌入层将输入的交通流数据和天气数据转换为高维特征表示。为了捕捉时间序列中的长期依赖关系，LSTM对交通流数据进行特征提取。同时，CVAE对天气数据进行特征提取，生成包含天气影响的特征表示。将LSTM和CVAE生成的特征进行融合，并通过注意力机制与延迟感知、动态长时间模块结合，在空间方面实现了捕捉不同位置间延迟传播效应的功能；在时间方面，通过将天气特征的影响权重化，使模型能够自动学习并调整不同天气条件对交通流量的影响。在此过程中，调整Transformer和LSTM的参数，并选择最佳拟合模型，经过交通延迟传播模块处理后，模型输出最终的短时交通流预测值。

将天气数据进行归一化处理，确保不同特征值之间的数值范围一致：

W{\mathrm{\text{'}}}_{\mathrm{a},\mathrm{b}}(t)=\frac{W_{a,b}(t)-{\mu }_{\mathrm{w}}}{{\sigma }_{\mathrm{w}}}（12）

式中：W{\mathrm{\text{'}}}_{\mathrm{a},\mathrm{b}}(t)为归一化后的天气特征值，W_{a,b}(t)为归一化前的天气特征值，其中t为时间步，下标a、b分别为天气特征类别和对应特征维度；{\mu }_{\mathrm{w}}和{\sigma }_{\mathrm{w}}分别为天气数据的均值和标准差。

使用CVAE对预处理后的天气数据进行特征提取，生成低维的天气特征向量{\mathit{Z}}_{a,b}(t)：

{\mathit{Z}}_{a,b}(t)=\mathrm{C}\mathrm{V}\mathrm{A}\mathrm{E}(W{\text{'}}_{a,b}(t))（13）

式中，CVAE(·)为条件变分自编码器的非线性特征映射函数。

将提取的天气特征向量与交通流量数据特征向量进行拼接，作为Transformer模型的输入。

1.3.3 事故数据特征

引入交通事故数据作为外部特征，将事故数据与交通流量数据进行时间和空间上的匹配，以捕捉其对交通流的影响。图2为某路段交通事故历史数据。

对事故数据进行归一化处理并通过嵌入层将其转换为可处理的低维特征表示{\mathit{E}}_{a,b}(t)；将其与交通流数据对齐，生成特征矩阵{\mathit{F}}_{a,b}(t)：

{\mathit{F}}_{a,b}(t)=[{\mathit{X}}_{a,b}(t),{\mathit{Z}}_{a,b}(t),{\mathit{E}}_{a,b}(t)]（14）

式中，{\mathit{X}}_{a,b}(t)为交通流量数据的特征向量。

1.4 性能指标

为了更准确地评估模型的预测能力和验证方法的有效性，采用平均绝对误差（MAE，记为E_MAE）、均方根误差（RMSE，记为E_RMSE）、平均绝对百分比误差（MAPE，记为E_MAPE）和决定系数（R²）等作为预测性能评估指标，计算方法分别如下：

E_{\mathrm{M}\mathrm{A}\mathrm{E}}=\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}\left|y_i-\right.{\widehat{y}}_i\left|\right.（15）

E_{\mathrm{R}\mathrm{M}\mathrm{S}\mathrm{E}}=\sqrt[]{\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}(y_i-{\widehat{y}}_i{)}^{\mathrm{2}}}（16）

E_{\mathrm{M}\mathrm{A}\mathrm{P}\mathrm{E}}=\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}\left|\frac{y_i-{\widehat{y}}_i}{y_i}\right|\times \mathrm{100}（17）

R^{\mathrm{2}}=\mathrm{1}-\frac{{\displaystyle \sum _{i=\mathrm{1}}^n}(y_i-{\widehat{y}}_i{)}^{\mathrm{2}}}{{\displaystyle \sum _{i=\mathrm{1}}^n}(y_i-{\overline{y}}_i{)}^{\mathrm{2}}}（18）

式（15）～（18）中，y_i为真实值，{\widehat{y}}_i为预测值，\overline{y}为真实值的平均值，n为样本数，i表示第i个样本。

RMSE、MAE和MAPE的值越小，模型的预测能力越好；R²越接近1，模型的预测结果与真实数据的拟合程度越好。

2 实证分析

2.1 数据集分析

2.1.1 地理位置

选取位于美国加利福尼亚州（简称“加州”）圣克拉拉县的圣何塞市I880‒N高速公路作为实验对象。

该路段全长约46.0英里（1英里=1 609.344 m），拥有数个监测站和数百个交通传感器，能够实时收集到路段上的交通流量、速度和车道占用率等数据。

2.1.2 交通流量数据

选取源自美国加州交通运输部（California Department of Transportation，Caltrans）建立的高速公路性能监测系统（Performance Measurement System，PeMS）提供的统一交通数据库。PeMS数据由布设在加州高速公路网中的交通检测器实时采集，并整合Caltrans及地方交通管理机构的相关交通运行信息，主要包括交通流量、平均速度和车道占有率等。这些数据可以让用户对高速公路性能进行统一、全面的评估，基于对高速公路网络当前状态的了解做出运营决策，分析拥堵瓶颈以确定潜在的补救措施，并做出更好的整体决策。

为验证本文方法的有效性，在两个公开的真实交通数据集PEMS01和PEMS02上进行了实验。

PEMS01数据集包含2024‒01‒01—2024‒02‒01这32 d内，由I880‒N路段的612个检测器收集的交通流量数据（每5 min采集一次交通流量、速度和车道占用率）。数据集的原始流量数据文件的shape为(612,9 216,3)，其中，612为摄像头数量，9 216为时间步数量，3表示包括交通流量、速度和车道占用率3个维度。图3为PEMS01数据集日交通流量（每天通过的车辆数）曲线。

PEMS02数据集包含2023‒07‒01—2023‒08‒31这62 d内，由I880‒N路段的180个传感器收集的交通流量数据（每5 min采集一次交通流量、交通速度和车道占用率）。数据集的原始流量数据文件的shape为(180,17 856,3)，其中，180为摄像头数量，17 856为时间步数量，3表示包括流量、速度和车道占用率3个维度。

2.1.3 历史天气数据

为更准确地预测交通流量，引入天气数据作为外部影响因素。通过Weatherbit平台，获取了圣何塞市2024‒01‒01—2024‒02‒01包括云量、温度、相对湿度、风速的每日天气数据。图4为圣何塞市历史温度和降水量数据。依据世界气象组织（WMO）的定义^[26]，将这些天气数据分为几种常见的天气类型。表1为天气类型数据示例。

由图3、4的对比及表1可见，天气变化与交通流量的强相关性。较大的降水量通常会导致交通流量的波动，如1月末的强降雨导致交通量较往日骤降；而温度的极端变化可能影响驾驶行为和交通状况。通过引入历史天气数据，进一步与交通流量数据相结合，可提升模型在应对不同天气状况下的预测能力。

2.1.4 交通事故数据

为进一步提高交通流预测的准确性，将历史交通事故数据作为外部影响因素引入预测模型。选取的数据集来自加州全州综合交通记录系统（Statewide Integrated Traffic Records System，SWITRS），包括事故发生的时间、地点、天气条件、事故类型、涉及车辆的数量，以及伤亡情况等数据。本文重点使用了与研究路段相关的交通事故数据，覆盖2024‒01‒01—2024‒02‒01。

为与交通流数据对齐，将历史交通事故数据按照时间和空间进行匹配，即将每个事故记录都与相应时间段内的交通流量数据进行关联，并将其嵌入模型的输入特征。通过这种方式，模型可以捕捉到交通事故对交通流动态的潜在影响，并据此优化预测结果。表2为交通事故数据示例。

2.2 对比模型

2.2.1 单一模型

为全面评估本文提出的LC‒Transformer模型的性能，选择如下一批广泛应用于交通流预测并在相关研究中展示出良好性能的单一模型作为对比对象。

DT：一种常见的机器学习模型，通过构建树状结构来进行决策和预测。其在处理结构化数据时表现良好，但在处理复杂时间序列数据时可能存在局限性。

RF：一种基于多棵决策树的集成模型，通过结合多棵决策树的预测结果来提高模型的泛化能力和稳定性。其在应对高维数据和复杂关系时表现较好。

LSTM：一种常用的RNN变体，能够捕捉时间序列中的长短期依赖关系。

Transformer：能够有效捕捉长距离依赖关系，并且在处理长序列数据时具有高效的并行处理能力。

扩散卷积循环神经网络（DCRNN）^[27]：结合了扩散卷积和门控循环单元，通过捕捉空间和时间依赖关系进行交通流预测。

GRU：一种RNN变体，通过门控机制捕捉时间序列中的依赖关系。

STGCN^[28]：捕捉数据中的时空依赖关系。

Informer：一种专为长序列时间预测任务设计的改进型Transformer架构^[29]，其核心是提出了ProbSparse自注意力机制，显著降低了计算复杂度。

Autoformer：近年提出的另一种当前先进水平（SOTA）时间序列预测模型^[30]，引入了时序分解模块（series decomposition block），将原始序列分解为趋势项和周期项，从而提高模型对长期趋势变化的建模能力。采用了自动回归式的预测结构，进一步增强了稳定性和泛化能力。

2.2.2 组合模型

为进一步评估LC‒Transformer模型在复杂交通流量特征建模中的预测性能，选取现有研究中常见的组合模型作为对比对象。

STGCN+LSTM：该组合模型在捕捉时空依赖关系方面具备优势，但在处理长距离依赖关系和外部因素上可能存在不足。

GRU+注意力机制：利用GRU捕捉时间序列的短期依赖关系，同时通过注意力机制增强模型的解释性，但可能在处理数据异质性和复杂非线性关系时有一定局限性。

2.3 结果与讨论

将实验数据按照7∶1∶2的比例划分为训练集、验证集和测试集。所有实验均在一台具有1块NVIDIA RTX 3070 GPU和12个core i5‒12400KF CPU核心的设备上进行。

使用Z‒score标准化对实验数据进行预处理：

r^{\mathrm{*}}=\frac{r-\overline{r}}{s}（19）

式中，r^{\mathrm{*}}为标准化后的值，r为原始数据值，\overline{r}为原始数据的均值，s为原始数据的标准差。

2.3.1 敏感性分析

为增强模型的可复现性与鲁棒性，基于训练集对多个重要参数进行了敏感性分析，主要包括LSTM隐藏层维度、Transformer注意力头数、CVAE潜变量维度及初始学习率。各参数对预测性能的影响用MAE为评估指标。图5为敏感性分析结果。

由图5可见：LSTM隐藏层在维度为128时，MAE最小，表明此设置下模型能更有效地提取时间序列特征，该参数过小（如64）或过大（如192）都会带来欠拟合或过拟合风险。当Transformer注意力头数为4时表现最佳，说明适度的多头注意力机制可以平衡局部与全局依赖，提升预测准确性。CVAE潜变量维度为16时，MAE最小，表明该潜在空间足以捕捉交通状态中潜在的结构特征，维度过大反而会引入噪声。学习率过小时，模型训练进度缓慢，MAE较大；学习率过大则可能导致震荡甚至发散，最优点出现在10^-4附近，表明适度的学习率设置对模型性能至关重要。

基于以上实验结果，最终设定LSTM隐藏层维度为128，Transformer注意力头数为4，CVAE潜变量维度为16，初始学习率为10^-4，最大训练轮数为200。

2.3.2 性能评估

将训练集输入LC‒Transformer模型，使用Adam优化器进行训练。训练完成后，采用测试集对各模型进行预测性能测试，用MAE、RMSE、MAPE及R²对模型进行综合评估。表3为模型性能评估结果。

由表3可见：LC‒Transformer模型在本文实验数据集上的表现明显优于传统机器学习模型（如DT、RF）和经典深度学习模型（如LSTM、STGCN）。在本文实验数据集上，LC‒Transformer模型的MAE为17.931，显著低于LSTM的23.310和STGCN的19.412，同时R²值达到了0.953，表明其在捕捉交通流的时空动态特征方面具有更高的精度和鲁棒性。Informer与Autoformer两种SOTA模型在捕捉长序列依赖关系方面具有良好表现，MAE分别为18.624和18.312，R²分别达到0.931和0.937，整体优于STGCN、DCRNN和其他深度学习模型。然而，由于其未考虑交通事故等外部影响因素，预测精度仍不及融合多源特征的LC‒Transformer模型。

此外，为全面评估LC‒Transformer模型，将其与几种常用的组合模型进行对比。结果显示，LC‒Transformer在所有数据集上的MAE、MAPE和RMSE均优于这些组合模型。例如，LC‒Transformer的MAE比STGCN+LSTM模型降低了1.2，同时R²值显示出更强的预测能力和更好的模型泛化性。

图6为不同数据集上交通流量预测值和真实值对比。交通流量指每5 min通过的车辆数。

为进一步增强模型的可解释性，对LC‒Transformer模型中的多头注意力机制（multi-head attention）进行可视化分析。图7为各注意力头在不同时间步的注意力权重分布，展示了模型在12个时间步窗口下，不同注意力头（Head 0～3）对交通流序列的注意力权重。图7中：横轴表示关键时间步（key time step），即被关注的位置；纵轴表示查询时间步（query time step），即当前输入的位置；颜色越深表示该时间步对当前预测的影响程度越大。

由图7可见：Head 0和Head 1的注意力主要集中在对角线附近，表明模型的这两个注意力头倾向于关注当前时间步及其前后相邻的时刻，这与交通流数据的连续性特征一致，交通状态在短时间内具有高度相关性；Head 2和Head 3显示出较为分散的注意力模式，在部分时间步，注意力集中于远离当前时间步的历史时刻，这种模式说明模型能够有效捕捉不同时刻交通流序列之间的长期依赖关系，如早高峰影响晚高峰的周期性变化；某些注意力头（如Head 3）在特定时间步上的关注度显著增强，表明模型在这些时间段内捕捉到了如天气、交通事故等外部因素导致的交通异常变化，体现了模型对多源特征融合的适应性，进一步提升了对复杂交通动态的建模精度与泛化能力。

2.3.3 消融实验

图8为关于LSTM模块的消融实验结果，展示了去除LSTM模块前后，模型在长短期预测任务中的真实值与预测值对比。

通过LSTM与Transformer模块的集成，模型能够更好地平衡局部时序信息与全局时空关系的学习。由图8可见，结合了LSTM的LC‒Transformer模型在长短期预测任务中误差显著降低。此外，LC‒Transformer的MAPE为11.7%，和Transformer模型相比降低了约2.4个百分点。这验证了LSTM与Transformer的协同在提高模型时序信息捕捉能力方面的有效性，尤其是在处理复杂交通流变化时，二者的结合能有效缓解LSTM在长时依赖性预测中的梯度消失问题。

图9为去除CVAE模块的消融实验结果。

由图9可见，去除CVAE模块后，模型在多个时段的预测值与真实值之间出现明显偏离，尤其在流量波动剧烈或天气变化频繁的时间段，预测误差增大，表明模型对天气扰动的敏感性显著下降。与完整模型相比，去除CVAE模块后的模型在RMSE、MAE等指标上均出现了一定程度的劣化，表明CVAE模块在提取复杂天气条件对交通流的影响方面发挥了关键作用。该结果表明，将天气因素作为外部特征嵌入模型有助于提升模型在复杂环境下的泛化能力和预测稳定性。

图10为不考虑外部因素的消融实验结果。

通过CVAE模块和Embedding层将天气和历史交通事故数据作为外部特征嵌入模型旨在提高模型对外部因素变化的适应能力。结果显示，加入外部因素后，模型在不同天气条件和事故情况下的预测精度显著提升。在天气多变的情况下（如雨天、雾天等）及包含历史事故数据的预测任务中，LC‒Transformer模型的预测值与真实值的整体变化趋势更加接近。这表明，考虑外部因素的影响能够显著改善交通流预测模型的性能，特别是在应对突发事件和环境变化时。

综上所述，LC‒Transformer模型通过融合LSTM、CVAE和历史交通事故数据，在交通流预测中表现出较好的预测精度和稳定性。其结果表明，LSTM模块有助于增强模型对时序依赖关系的刻画能力，CVAE模块能够提升模型对天气因素影响的表达能力，事故数据的引入则进一步增强了模型对突发交通扰动的响应能力。

3 结 论

1）本文提出了一种基于LC‒Transformer模型的高速公路短时交通流预测方法。通过将LSTM集成到Transformer架构中，成功捕获了交通流数据的时间序列特征，尤其是长短期依赖关系。LSTM的引入能够更好地处理交通流数据中的时序波动，从而提高模型的预测精度。

2）为更全面地预测交通流变化，本文通过引入CVAE来处理外部因素，如天气条件的影响。CVAE能够有效地对外部因素进行特征提取，并与交通流数据融合，增强模型对外部环境变化的适应能力。通过加入CVAE，模型对复杂环境下的交通流预测表现出更高的稳定性和准确性，尤其是在天气条件多变的情况下，这种方法的效果尤为显著。

3）将历史交通事故数据作为外部特征引入模型，通过ST‒Embedding层与其他特征进行融合，模型能够学习到交通事故对交通流的潜在影响模式，从而进一步提高预测的精度和鲁棒性。实验结果显示，考虑交通事故因素的模型在突发事件下的交通流预测中表现更佳，验证了此方法的实用性和创新性。

本文的实验结果验证了研究方法的有效性，并为进一步的研究提供了新的思路。未来的研究可以考虑引入更多外部因素和不同深度学习模型的组合，以进一步提升交通流预测的效果。

参考文献

[1] Sayed S A, Abdel‒Hamid Y, Hefny H A.Artificial intelligence-based traffic flow prediction:A comprehensive review[J].Journal of Electrical Systems and Information Technology,2023,10(1):13. doi:10.1186/s43067-023-00081-6

[2] Xu Cuicui.ARIMA-based traffic flow prediction modeling at urban intersections[J].Electronic Design Engineering,2022,30(2):20‒23.

[3] 徐翠翠.基于ARIMA的城市交叉路口交通流预测建模[J].电子设计工程,2022,30(2):20‒23.

[4] Chen Kun, Qu Dayi, Jia Yanfeng,et al.Research on short-term traffic flow forecast based on ARIMA‒SVM Model[J].Journal of Qingdao University of Technology,2022,43(5):104‒109.

[5] 陈昆,曲大义,贾彦峰,等.基于ARIMA‒SVM模型的短时交通流量预测研究[J].青岛理工大学学报,2022,43(5):104‒109.

[6] Zhu Zhengyu, Liu Lin, Cui Ming.Short-term traffic flow forecasting model combining SVM and Kalman filtering[J].Computer Science,2013,40(10):248‒251.

[7] 朱征宇,刘琳,崔明.一种结合SVM与卡尔曼滤波的短时交通流预测模型[J].计算机科学,2013,40(10):248‒251.

[8] He Hongjie, Chen Xianlong.Short-term traffic flow forecasting model research based on exponential smoothing and residual network[J].Journal of Transportation Engineering,2023,23(3):97‒106.

[9] 何鸿杰,陈先龙.基于指数平滑法和残差网络的短时交通流预测方法[J].交通工程,2023,23(3):97‒106.

[10] He Zujie, Wu Xinye, Liu Zhonghua.Optimized SVM model for short-term traffic flow prediction based on improved gray wolf optimizer[J].Journal of Xiamen University(Natural Science),2022,61(2):288‒297.

[11] 何祖杰,吴新烨,刘中华.基于改进灰狼算法优化支持向量机的短期交通流预测[J].厦门大学学报(自然科学版),2022,61(2):288‒297.

[12] Guo Cuiling.Research on urban traffic flow forecasting based on LS‒WSVM[D].Chengdu:Southwest Jiaotong University,2013.

[13] 郭翠玲.基干LS‒WSVM旳城市交通流预测方法研究[D].成都:西南交通大学,2013.

[14] Mao Yunxiang, Li Xingyi.Random forest in short-term traffic flow forecasting[J].Computer and Digital Engineering,2020,48(7):1585‒1589.

[15] 冒云香,李星毅.随机森林在短时交通流中的应用[J].计算机与数字工程,2020,48(7):1585‒1589.

[16] Tian Jia, Wang Deyong, Shi Wenxi.Short-term traffic flow forecasting based on EEMD and random forest[J].Science Technology and Engineering,2023,23(29):12612‒12619.

[17] 田佳,王德勇,师文喜.基于集合经验模态分解和随机森林的短时交通流预测[J].科学技术与工程,2023,23(29):12612‒12619.

[18] Yin Lisheng, Tang Shengqi, Li Sheng,et al.Traffic flow prediction based on hybrid model of auto-regressive integrated moving average and genetic particle swarm optimization wavelet neural network[J].Journal of Electronics & Information Technology,2019,41(9):2273‒2279.

[19] 殷礼胜,唐圣期,李胜,等.基于整合移动平均自回归和遗传粒子群优化小波神经网络组合模型的交通流预测[J].电子与信息学报,2019,41(9):2273‒2279.

[20] Dai Jiajia, Liang Yiwen, Cheng Qianling.Analysis and discussion on urban traffic flow prediction models[C]//Proceedings of the 2024 World Transport Convention(WTC2024).Qindao:WTC,2024:589‒594.

[21] 代佳佳,梁译文,程茜伶.城市交通流预测模型分析与研讨[C]//2024世界交通运输大会(WTC2024).青岛:世界交通运输大会执委会,2024:589‒594.

[22] Zhao Henghui, Huang Deqi, Zeng Rong,et al.Short term traffic flow prediction based on spatial-temporal attention Bi‒LSTM model[J].Computer Simulation,2022,39(9):177‒181.

[23] 赵恒辉,黄德启,曾蓉,等.基于时空注意力Bi‒LSTM模型的短时交通流预测[J].计算机仿真,2022,39(9):177‒181.

[24] Zhang Yang, Hu Yue, Chen Dewang,et al.Short-term traffic flow prediction model based on GCN‒BiLSTM[J].Journal of Wuhan University of Technology(Transportation Science & Engineering),2023,47(5):802‒806.

[25] 张阳,胡月,陈德旺,等.基于GCN‒BiLSTM的短时交通流预测模型[J].武汉理工大学学报(交通科学与工程版),2023,47(5):802‒806.

[26] Yin Qi, Ding Fei, Zhu Yue,et al.An urban traffic flow prediction model based on CNN and multi-scale feature fusion[J].Computer Technology and Development,2022,32(10):175‒181.

[27] 殷齐,丁飞,朱跃,等.基于CNN与多尺度特征融合的城市交通流预测模型[J].计算机技术与发展,2022,32(10):175‒181.

[28] Li Haowen.Study on short-term traffic flow prediction of expressway under rain and snow conditions based on CNN‒BiLSTM‒Attention[D].Harbin:Harbin Institute of Technology,2023.

[29] 李浩文.基于CNN‒BiLSTM‒Attention的雨雪条件下高速公路短时交通流预测研究[D].哈尔滨:哈尔滨工业大学,2023.

[30] Zeng Ailing, Chen Muxi, Zhang Lei,et al.Are transformers effective for time series forecasting[J].Proceedings of the AAAI Conference on Artificial Intelligence,2023,37(9):11121‒11128. doi:10.1609/aaai.v37i9.26317

[31] Zhou Chuhao, Lin Peiqun.Traffic flow prediction method based on multi-channel Transformer[J].Application Research of Computers,2023,40(2):435‒439.

[32] 周楚昊,林培群.基于多通道Transformer的交通量预测方法[J].计算机应用研究,2023,40(2):435‒439.

[33] Zhang Mingjian, Ye Baolin, Dong Rui,et al.A short-term traffic flow prediction model based on temporal information enhanced Transformer[J].Software Engineer,2024,27(8):41‒45.

[34] 张鸣剑,叶宝林,董睿,等.基于时间信息增强Transformer的短时交通流预测模型[J].软件工程,2024,27(8):41‒45.

[35] Wang Fangzhou.Forecasting the duration and spatial-temporal impact of freeway accidents based on real-time weather conditions[D].Guangzhou:South China University of Technology,2023.

[36] 王方舟.融合实时气象特征的高速公路事故持续时间和时空影响范围研究[D].广州:华南理工大学,2023.

[37] Sha Junyi.Analysis and prediction research on influencing factors of expressway traffic flow[D].Dalian:Dalian Maritime University,2024.

[38] 沙君毅.高速公路交通流量影响因素分析及预测研究[D].大连:大连海事大学,2024.

[39] Hochreiter S, Schmidhuber J.Long short-term memory[J].Neural Computation,1997,9(8):1735‒1780. doi:10.1162/neco.1997.9.8.1735

[40] Tang Jie, Zhu Rong, Wu Fengyun,et al.Deep spatio-temporal dependent convolutional LSTM network for traffic flow prediction[J].Scientific Reports,2025,15:11743. doi:10.1038/s41598-025-95711-6

[41] Vaswani A, Shazeer N, Parmar N,et al.Attention is all you need[C]//Proceedings of the 31st International Conference on Neural Information Processing System.Red Hook:Curran Associates Inc,2017:6000‒6010.

[42] Sohn K, Lee H, Yan Xinchen.Learning structured output representation using deep conditional generative models[C]//Proceedings of the Neural Information Processing Systems,2015.

[43] Su Mintong, Zheng Jin, Zhang Zuping.Clustering mining of urban traffic flow based on CVAE[J].Journal of Traffic and Logistics Engineering,2020:34‒44. doi:10.18178/jtle.8.2.34-44

[44] World Meteorological Organization(WMO).International Cloud Atlas[M].Geneva:WMO,2017.

[45] Li Yaguang, Yu R, Shahabi C,et al.Diffusion convolutional recurrent neural network:Data-driven traffic forecasting[C]//Proceedings of the 6th International Conference on Learning Representations(ICLR).Vancouver:ICLR,2018:1‒16.

[46] Yu Bing, Yin Haoteng, Zhu Zhanxing.Spatio-temporal graph convolutional networks:A deep learning framework for traffic forecasting[C]//Proceedings of the Twenty‒Seventh International Joint Conference on Artificial Intelligence.Stockholm:International Joint Conferences on Artificial Intelligence Organization,2018:3634‒3640. doi:10.24963/ijcai.2018/505

[47] Zhou Haoyi, Zhang Shanghang, Peng Jieqi,et al.Informer:Beyond efficient transformer for long sequence time-series forecasting[J].Proceedings of the AAAI Conference on Artificial Intelligence,2021,35(12):11106‒11115. doi:10.1609/aaai.v35i12.17325

[48] Wu Haixu, Xu Jiehui, Wang Jianmin, Long Mingsheng.Autoformer:Decomposition transformers with auto-correlation for long-term series forecasting[J].Advances in Neural Information Processing Systems,2021,34:22419‒22430.

基金资助

自然资源部地灾自动化监测技术创新中心开放课题（TICG‒K2024005）

国家自然科学基金项目(52078070)