基于混合Transformer的对外客运枢纽抵站客流预测模型

Passenger flow prediction model of external transportation hub based on hybrid Transformer

摘要

本文综合考虑节假日、恶劣天气、疫情防控政策等因素影响，以2021年3月~2023年5月北京首都国际机场及2021年12月~2023年7月的7个高铁站点的抵站客流数据为基础，提出了一种融合卷积神经网络、长短期记忆网络的混合Transformer枢纽抵站客流预测模型，分析多因素影响下抵站客流规模的时变规律。结果表明，混合Transformer模型相比于传统机器学习和深度学习模型，具有更小的误差，对所有场站的客流预测准确率超过了80%，其中对6个场站客流的预测准确率在90%左右，证明该模型具有良好的适用性。

Abstract

The impact of various external factors such as holidays， weather conditions， and epidemic prevention policies was considered in this paper， based on the passenger arrivals date at Beijing Capital International Airport between March 2021 and May 2023， and seven major high-speed railway stations from December 2021 to July 2023， a hybrib Transformer model integrating convolutional neural networks， long short-term memory networks is proposed for hab-to-station passenger flow prediction， analyzing the time-varying patterns of passenger flow volume at arrival stations under the influence of multiple factors. The empirical results reveal that the hybrib Transformer model outperforms conventional machine learning and deep learning models in prediction accuracy， achieving over 80% across all stations， and nearing 90% for six of them， this evidences the model's robust applicability.

Graphical abstract

关键词

交通运输系统工程 / 对外客运枢纽 / 城际出行 / 客流预测 / 混合Transformer模型

Key words

engineering of communications and transportation system / external transportation hubs / intercity mobility / passenger flow prediction / hybrid Transformer model

0 引 言

对外客运枢纽是包含民航、铁路或省际客运等至少一种城市对外客运交通方式和若干市内客运交通方式，通过完善的换乘服务体系所连接的固定设备和活动设备所形成的从事旅客运输的一类交通枢纽^［1］。考虑特殊条件对客运枢纽的抵站客流规模进行精准预测，将有效帮助管理者及时掌握抵站客流变化趋势，对提高对外交通枢纽的交通运输接续保障能力具有重要意义。

对外客运枢纽的客流规模受到多种时空因素的影响，有学者重点考虑天气^［2］、星期^［3］或者假期^［4］等因素开展城市内交通站点客流预测研究。Zhang等^［5］考虑天气和空气质量因素构建深度学习集成模型进行短时客流预测，提升了模型的预测精度；Sha等^［6］分析每周不同天的客流特征，发现工作日和非工作日的客流具有一定差异。疫情条件对客流预测^［7］和乘坐飞机的旅客的出行行为^［8］均产生了重要影响，而这些因素对枢纽客流规模的影响程度仍有待探究。

在充分考虑多因素影响的情况下，如何准确提取影响因素并进行量化，建立能够快速计算、准确率高的预测模型仍值得探究。梯度提升算法^［9］、长短期记忆（Long short-term memory，LSTM）^{［10，11］}模型及其改进形式^［12-14］在客流预测相关研究中得到广泛应用。基于Transformer的新型网络结构也被证明能够提升时间序列预测的准确性^［15-17］。在恶劣天气、节假日以及前期疫情防控政策变化背景下，对外客运枢纽抵站客流规模存在较大的波动与不确定性，鲜有研究将Transformer模型应用于城市的对外客运枢纽抵站客流预测。综上所述，本文拟通过引入Transformer模型结构处理数据长期依赖关系，融合卷积神经网络（Convolutional neural networks，CNN）和LSTM神经网络构建CNN-LSTM-Transformer混合模型（CL-Transformer），以提高预测模型的客流趋势表征能力，并以北京首都国际机场及北京市7个高铁站点的抵站客流为例，检验本文构建的模型对于特殊事件影响下的客流预测精度以及模型结构对于不同场站的适用性，以期为城市对外客运枢纽客流规模预判、接续运输保障和调度组织提供精准的客流数据支撑。

1 研究数据基础及影响因素

研究所用数据主要分为客流数据、天气数据、疫情相关数据、时间数据等4类。客流数据来源于北京市接续运输与春运节假日保障系统，包含2021年3月2日至2023年5月10日北京首都国际机场实际抵站客流数据统计和预售票量数据，以及2021年12月1日至2023年7月8日北京各铁路枢纽站点的实际抵站客流数据统计和预售票量数据，数据统计粒度为小时，预售票数据为到站前一日15：00前获得小时粒度统计数据。天气数据统计粒度为小时，包含最高与最低气温、风速。北京首都国际机场抵站客流数据集因素样例如表1所示。高铁站点抵站客流数据集中不考虑准点率及班次信息，其他影响因素相同。在各类影响因素中，星期、天气、节假日特征、进返京限制政策等为类别变量，其余为连续变量。

从国家卫健委网站及本地宝获取每日新增本土确诊病例数与北京疫情防控措施情况，并将疫情防控分为3级：第一级管控最为严格，在新冠肺炎病例数增长较快的的情况下，对中高风险地区人员严格限制进返京；第二级管控较为宽松，在本土新冠肺炎病例增长较少的情况下，按照人员旅居史情况限制进返京；第三级管控最为宽松，在国内无新冠肺炎病例增长的情况下，低风险地区仅需健康宝绿码即可进返京，具体分级标准见表2。2022年12月24日后，疫情形势逐渐好转，不再进行病例统计与管控分级。

2 客流特征及影响因素分析

城市对外客运枢纽抵站客流在不同日期、不同时间的分布不同。首先对客流数据的整体特征进行分析，图1展示了2021年3月~2023年3月北京首都国际机场客流状况，该时间段包含了疫情期间及政策放开初期的客流状况。从日期维度上看，2022年8月份与11月份客流明显减少；从小时维度上看，凌晨0：00~3：00时段抵站客流急剧减少，6：00~12：00客流呈逐步增长的趋势，12：00至第二天0：00抵站客流均保持当日较高的水平。

图2表明在2022年7月底和10月底每日新增本土病例数量开始增长，受进返京管控措施的影响，抵站客流显著减少。

3 CL-Transformer模型构建

3.1　模型构建

在恶劣天气、节假日叠加疫情防控策略变化的条件下，对外客运枢纽旅客抵站特征存在较大的不确定性。CNN具有较强的特征提取能力，有利于从复杂的影响因素中提取关键特征，但并不擅长处理时间序列数据中的长期依赖关系；LSTM是一种特殊的循环神经网络，能够弥补CNN的缺点，但LSTM在实际应用中可能遇到梯度消失或者爆炸的问题，影响预测的准确性。Transformer模型的注意力机制能够实现并行处理数据，相比于LSTM，能够更有效地处理数据的长期依赖关系。通过融合3种类型的神经网络结构建立混合模型，能够实现数据的重要特征提取，并有效降低局部冗余，捕获数据中存在的长期依赖关系，并且混合模型在处理不同类型的时间序列数据时，具有更好的灵活性和鲁棒性，有利于实现多个场站的精准预测。

本文构建基于混合CL-Transformer模型的枢纽抵站客流预测模型结构如图3所示。首先利用Savitzky-Golay（SG）滤波器对抵站客流数据进行降噪，并与其他因素关联匹配，构造训练与验证数据集，之后对模型进行训练和参数调优，最终输出模型的预测结果。

为了消除客流时间序列中存在的随机波动和噪声，本文利用SG滤波器对数据进行预处理。处理过程如下：

X_j^{\mathrm{*}}=\frac{{\displaystyle \sum _{i=-m}^{i=m}}{C}_i{X}_{j+\mathrm{1}}}{N}（1）

式中：X_j^*为时间序列的拟合值；X_j+1为窗口中的时间序列数据点；C_i 为第i个时间序列数据的系数；N为卷积数目；m为滤波窗口大小，本文中设置滤波窗口为25；j为原始时间序列数据集的系数。

预测模型利用卷积层进行数据特征的提取和映射，k为卷积核的数量，输入数据与不同的卷积核进行卷积运算，可以得到包含输入数据不同特征的映射矩阵 X^m+1，可表示为：

{\mathit{X}}^{m+\mathrm{1}}=\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}({\sum W^m\cdot X}^m+B^m)（2）

式中： W^m 为该层的权重； X^m 、 X^m+1分别为m层及其下一层的特征输入；B^m 为该层的偏置。

传统Transformer模型中没有循环和卷积结构，本文将LSTM网络嵌入Transformer的编码器中，增强对数据长期依赖信息的学习。LSTM的遗忘门将前一层隐藏状态的信息h_t-1和当前输入信息x_t 传递到sigmoid函数中，对信息进行筛选，保留输出值f_t 接近于1的值，删除接近于0的值，如式（3）所示，其中 W_f 为权重，b_f 为偏置。在输入门中通过线性运算得到输入矩阵 G_t，如式（4）所示。利用tan函数创造新的候选值向量\widetilde{{\mathit{C}}_t}，存储x_t 和h_t-1 中的信息，如式（5）所示。将sigmoid函数输出与tan输出相乘，利用sigmoid的输出值决定需要保留的tan函数输出值，之后将隐藏状态作为当前层的输出，将新的单元状态和隐藏单元状态输入到下一步长中，生成单元状态 C_t，如式（6）所示。

f_t=\sigma ({\mathit{W}}_f\cdot [h_{t-\mathrm{1}},x_t]+b_f)（3）

{\mathit{G}}_t=\sigma ({\mathit{W}}_i\cdot [h_{t-\mathrm{1}},x_t]+b_i)（4）

\widetilde{{\mathit{C}}_t}=\mathrm{t}\mathrm{a}\mathrm{n}({\mathit{W}}_{\mathrm{c}}\cdot [h_{t-\mathrm{1}},x_t]+b_{\mathrm{c}})（5）

{\mathit{C}}_t={\mathit{f}}_t\mathrm{*}{\mathit{C}}_{t-\mathrm{1}}+{\mathit{G}}_t\mathrm{*}\widetilde{{\mathit{C}}_t}（6）

根据Query-Key-Value模型，Transformer中的注意力机制可以表示为：

\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(\mathit{Q},\mathit{K},\mathit{V})=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\frac{\mathit{Q}{\mathit{K}}^{\mathrm{T}}}{\sqrt[]{D_K}})\mathit{V}（7）

式中： Q， K， V 为CNN输出的特征映射； Q 为查询矩阵； K 为键矩阵； V 为值矩阵；D_K 为矩阵 K 的维度。Transformer使用注意力机制学习不同类别数据间的相互依赖关系，通过拼接方式将单头自注意力变为多头自注意力，可表示为：

\begin{array}{c}\mathrm{M}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}\mathrm{H}\mathrm{e}\mathrm{a}\mathrm{d}\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{n}(\mathit{Q},\mathit{K},\mathit{V})=\\ \mathrm{C}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}(\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_{\mathrm{1}},\cdots ,\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_H){\mathit{W}}^{\mathrm{o}}\\ \mathrm{w}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{e}\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_i=\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(\mathit{Q}{\mathit{W}}_i^Q,\mathit{K}{\mathit{W}}_i^K,\mathit{V}{\mathit{W}}_i^V)\end{array}（8）

前馈神经网络为全连接神经网络的形式，连接多头自注意力输出，可表示为：

\mathrm{F}\mathrm{F}\mathrm{N}(\mathit{H}\mathrm{\text{'}})=\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}(\mathit{H}\mathrm{\text{'}}{\mathit{W}}^{\mathrm{1}}+b^{\mathrm{1}}){\mathit{W}}^{\mathrm{2}}+b^{\mathrm{2}}（9）

式中： H '为前一层的输出； W¹、 W²、b¹、b²为训练参数，通过残差连接方式连接各层。

\mathit{H}\mathrm{\text{'}}=\mathrm{L}\mathrm{a}\mathrm{y}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}(\mathrm{S}\mathrm{e}\mathrm{l}\mathrm{f}\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{n}(\mathit{X})+\mathit{X})（10）

\mathit{H}=\mathrm{L}\mathrm{a}\mathrm{y}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}(FFN(\mathit{H}\mathrm{\text{'}})+\mathit{H}\mathrm{\text{'}}（11）

式中：SelfAttn（·） 为自注意力模块；LayeNorm（·）为归一化层。

3.2　模型训练和影响因素重要度分析

为了进一步降低模型的复杂度，筛选反映客流特征及变化规律的典型指标，引入基于置换特征重要性算法计算特征间的相对重要性FI。平均绝对误差（Mean absolute error，MAE）值越大表明该特征的重要程度越高^［18］，特征p的重要性分数FI _p 可以表示为

\mathrm{F}{\mathrm{I}}_p=\frac{E_p-\mathrm{M}\mathrm{i}\mathrm{n}(E_p)}{\mathrm{M}\mathrm{a}\mathrm{x}(E_p)-\mathrm{M}\mathrm{i}\mathrm{n}(E_p)}（12）

式中：E为误差。

不同因素的相对重要性如表3所示，结果表明，进返京限制政策与本土新增新冠肺炎病例数对于抵站客流预测均具有相对重要的影响。

3.3　模型精度验证及结果分析

本文基于TensorFlow框架，首先选取2021年3月2日至2022年12月22日共15 840 h数据样本为基础，以前80%的数据为训练样本，后20%的数据为测试样本，构建CL-Transformer模型，并与GBDT、LSTM、Transformer、CNN-Transformer和LSTM-Transformer模型进行比较。利用MAE、均方根误差（Root mean square error，RMSE）和准确率（Accuracy）对模型的预测结果进行评价，各指标计算公式如下：

\mathrm{M}\mathrm{A}\mathrm{E}=\frac{\mathrm{1}}{N}\left|y_i-{\widehat{y}}_i\right|（13）

\mathrm{R}\mathrm{M}\mathrm{S}\mathrm{E}=\sqrt[]{\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}{(\left|y_i-{\widehat{y}}_i\right|)}^{\mathrm{2}}}（14）

\mathrm{A}\mathrm{c}\mathrm{c}\mathrm{u}\mathrm{r}\mathrm{a}\mathrm{c}\mathrm{y}=\mathrm{1}-\frac{{\displaystyle \sum _{i=\mathrm{1}}^N}\left|y_i-{\widehat{y}}_i\right|}{{\displaystyle \sum _{i=\mathrm{1}}^N}{y}_i}（15）

式中：y_i 为i时刻客流真实值；{\widehat{y}}_i为模型的客流预测值；N为总样本数。

本文利用Grid Search方法确定模型训练的批大小（batch size）、学习率等最优参数，采用3折交叉验证方法确定具有良好泛化能力的模型。各模型的最优参数如表4所示。

模型验证结果如表5所示。结果表明，CL-Transformer算法具有更加优秀的预测性能，对各场站预测结果的MAE、RMSE结果最小，准确率最高，对北京首都国际机场、北京西站、北京南站、北京北站、清河站的预测准确率在90%左右，对于北京丰台站的预测准确率较为理想，为83%，对于北京朝阳站的预测准确率较低，为81.3%。图4展示了客流量较大的北京首都国际机场、北京站、北京西站、北京南站和准确率相对较低的北京朝阳站、北京丰台站连续4天（共96 h）的各场站客流预测结果。可以发现，CL-Transformer模型对于客流变化的节点更为敏感，更为接近实际客流状态，能够更好地表现随时间的变化趋势。

4 结 论

（1）本文考虑了本土新增新冠肺炎病例数及防控政策等因素的影响，以北京首都国际机场及7个高铁站点的抵站客流数据为基础，通过将CNN、LSTM与Transformer模型有效结合，构建的CL-Transformer模型提升了客流预测精度。相比于GBDT、LSTM、Transformer，以及CNN-Transformer和LSTM-Transformer等混合模型，CL-Transformer模型对北京市8个对外客运枢纽的抵站客流规模预测准确率超过80%，对其中6个场站的预测准确率在90%左右，表现出良好的预测准确率与稳定性。

（2）本文研究结果表明：置换特征重要性方法可以应用于深度学习算法特征重要性的识别。不仅通常考虑的时段属性、预售票量、天气状况、日期属性、节假日属性均对抵站客流预测产生重要影响，而且疫情相关的因素同样对抵站客流预测具有重要影响。

（3）本文提出的CL-Transformer模型能较好地适应和满足政策管控等特殊场景中的客流预测需求。未来可以考虑航班出发地的天气等时空因素，以及出发地与目的地之间的联系紧密程度，构建客流预测模型，为多个场站提供更准确的预测方案。

参考文献

[1] 刘咏. 城市对外综合客运枢纽功能定位及相关问题研究[D]. 四川:西南交通大学交通运输学院, 2008.

[2] Liu Yong. Research on functional orientation and related issues of urban comprehensive passenger transport hubs[D]. Sichuan: School of Trarsportation, Southwest Jiaotong University, 2008.

[3] Liu L, Chen R C, Zhu S. Passenger flow prediction using weather data for metro systems[C]∥Proceedings of the 2018 Conference on Technologies and Applications of Artificial Intelligence. Taichung: IEEE, 2018: 70-73.

[4] 巫威眺, 曾坤, 周伟, 等. 基于多源数据和响应面优化的公交客流预测深度学习方法[J]. 吉林大学学报:工学版, 2023, 53(7): 2001-2015.

[5] Wu Wei-tiao, Zeng Kun, Zhou Wei, et.al. Deep learning method for bus passenger flow prediction based on multi-source data and surrogate-based optimization[J]. Journal of Jilin University(Engineering and Technology Edition), 2023, 53(7): 2001-2015.

[6] Guo Z, Zhao X, Chen Y, et al. Short‐term passenger flow forecast of urban rail transit based on GPR and KRR[J]. IET Intelligent Transport Systems, 2019, 13(9): 1374-1382.

[7] Zhang J, Chen F, Cui Z, et al. Deep learning architecture for short-term passenger flow forecasting in urban rail transit[J]. IEEE Transactions on Intelligent Transportation Systems, 2021, 22(11): 7004-7014.

[8] Sha S, Li J, Zhang K, et al. RNN-based subway passenger flow rolling prediction[J]. IEEE Access, 2020, 8: 15232-15240.

[9] Jiao F, Huang L, Song R, et al. An improved STL-LSTM model for daily bus passenger flow prediction during the COVID-19 pandemic[J]. Sensors, 2021, 21(17): No.5950.

[10] Zhang L, Yang H, Wang K, et al. The impact of COVID-19 on airline passenger travel behavior: An exploratory analysis on the chinese aviation market[J]. Journal of Air Transport Management, 2021, 95: No.102084.

[11] Qian H, Yang Z, Weng J, et al. Short-term passenger flow prediction of metro stations around sports events based on afc data[C]∥The 20th COTA International Conference of Transportation Professionals, Online,2020:70-73.

[12] Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780.

[13] 张惠臻, 高正凯, 李建强, 等. 基于循环神经网络的城市轨道交通短时客流预测[J]. 吉林大学学报:工学版, 2023, 53(2): 430-438.

[14] Zhang Hui-zhen, Gao Zheng-kai, Li Jian-qiang, et al. Short⁃term passenger flow forecasting of urban rail transit based on recurrent neural network[J]. Journal of Jilin University(Engineering and Technology Edition), 2023,53(2): 430-438.

[15] Zhang X, Zhong S, Mahadevan S. Airport surface movement prediction and safety assessment with spatial–temporal graph convolutional neural network[J]. Transportation Research Part C: Emerging Technologies, 2022, 144: No.103873.

[16] Zhang J, Che H, Chen F, et al. Short-term origin-destination demand prediction in urban rail transit systems: a channel-wise attentive split-convolutional neural network method[J]. Transportation Research Part C: Emerging Technologies, 2021, 124: No. 102928.

[17] Cheng Z, Lu J, Zhou H, et al. Short-term traffic flow prediction: an integrated method of econometrics and hybrid deep learning[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(6): 5231-5244.

[18] Hu S, Xiong C. High-dimensional population inflow time series forecasting via an interpretable hierarchical transformer[J]. Transportation Research Part C: Emerging Technologies, 2023, 146: No.103962.

[19] Zhou H, Li J, Zhang S, et al. Expanding the prediction capacity in long sequence time-series forecasting[J]. Artificial Intelligence, 2023, 318: No. 103886.

[20] Ramana K, Srivastava G, Kumar M R, et al. A vision transformer approach for traffic congestion prediction in urban areas[J]. IEEE Transactions on Intelligent Transportation Systems, 2023, 24(4): 3922-3934.

[21] Fisher A, Rudin C, Dominici F. All models are wrong, but many are useful: Learning a variable's importance by studying an entire class of prediction models simultaneously[J]. Journal of Machine Learning Research, 2019, 20: 1-8.

基金资助

国家自然科学基金项目(52072011)