面向城市轨道交通车站的客流密度估计方法

Estimation Method of Passenger Flow Density for Urban Rail Transit Stations

摘要

为解决传统目标检测与跟踪方法在尺度变化大、密集遮挡严重等复杂场景下的性能受限问题，提出1种基于CNN-Transformer融合的客流密度估计方法。首先，利用VGG-19主干网络提取多尺度特征，并构建多尺度特征融合模块（MFFM），通过整合不同分辨率的特征图，有效捕捉局部细节与空间信息；其次，引入多尺度感知增强模块（MPEM），结合自适应卷积与膨胀卷积进行轻量化设计，增强模型对复杂上下文和遮挡区域的感知能力；最后，通过Transformer编码器建立全局依赖关系，补偿特征缺失，进一步提升模型的鲁棒性。结果表明：所提方法在自制的地铁站台数据集（Metro-platform）上表现优异，其平均绝对误差和均方误差分别降至18.4和23.3，其推理时间为29.5 ms；在ShanghaiTech-A，UCF-QNRF和JHU-Crowd++等公共人群数据集上的测试结果进一步验证了模型的泛化能力。该方法可为城市轨道交通车站的客流密度估计提供高精度、高效率的解决方案，并为乘客安全管理和运营优化提供技术支持。

Abstract

To solve the performance limitations of traditional object detection and tracking methods in complex scenes such as large scale variations and severe dense occlusion, an estimation method of passenger flow density based on CNN-Transformer fusion is proposed. Firstly, the VGG-19 backbone network is used to extract multi-scale features, and a Multi-scale Feature Fusion Module (MFFM) is constructed to effectively capture local details and spatial information by integrating feature maps of different resolutions. Secondly, a Multi-scale Perception Enhancement Module (MPEM) is introduced, combined with adaptive convolution and dilated convolution for lightweight design, to enhance the model's perception ability for complex contexts and occluded areas. Finally, a global dependency relationship is established through Transformer encoder to compensate for feature loss and further improve the robustness of the model. The results show that the proposed method performs well on the self-built Metro-platform dataset, the mean absolute error and mean square error are reduced to 18.4 and 23.3 respectively, and the reasoning time is 29.5 ms. Tests results on public crowd datasets such as ShanghaiTech-A, UCF-QNRF, and JHU-Crowd++ further validate generalization ability of the model. This method can provide a highly accurate and efficient solution for estimating passenger flow density in urban rail transit stations, and provide technical support for passenger safety management and operation optimization.

Graphical abstract

关键词

城市轨道交通车站 / 客流密度估计 / 尺度变化 / 密集遮挡

Key words

Urban rail transit stations / Passenger flow density estimation / Scale variation / Dense occlusion

随着中国城市轨道交通的快速发展，高峰时段车站客流密度激增不仅加剧拥挤程度和安全风险^［1］，也暴露了人工巡逻与限流措施在应对人群聚集问题时效率低下和响应滞后的不足。在此背景下，基于计算机视觉的人群计数技术成为破解密集客流监控难题的关键手段，其通过视频监控与人工智能融合，克服了传统检测算法在低分辨率、复杂背景和频繁遮挡场景中的局限性。该技术以密度图回归为核心，逐步取代早期基于人体检测的方法，在交通枢纽、大型活动等场景展现出显著优势。尽管卷积神经网络（CNN）在生成高精度密度图方面取得了进展，但在应对轨道交通车站的尺度变化、频繁遮挡、复杂背景和视角扭曲等问题时仍然面临挑战。尤其是车站摄像头视角失真导致的行人尺度变化大，使得特征提取难度增大，而高密度场景下目标可见性缺失直接影响统计精度。因此，亟须构建更适应轨道交通场景特性的智能监控解决方案。

为应对上述挑战，现有研究提出了多列或多分支网络^［2-3］、多尺度特征金字塔^［4］和上下文感知机制^［5］等方法。然而，这些方法在复杂的城市轨道交通场景中依然存在特征提取困难和区域干扰等问题，适用性受限。

针对城市轨道交通场景中的密集客流检测问题，一些研究致力于解决因密集人群和严重遮挡所带来的挑战。文献［6］采用背景差分法检测客流，但在静止或重叠目标下表现不佳。文献［7］基于乘客身体检测的方法在稀疏场景中表现良好，但在拥挤环境中受遮挡影响较大。文献［8］通过改进高斯混合背景建模以处理遮挡问题，但精确度依然有限。文献［9］采用YOLOv5进行头肩部检测，虽然提高了检测精度，但在密集人群中错检和漏检率较高。文献［10］提出了1种基于多视角特征图投影融合的人群密度估计模型，用于铁路客站高密度人群计数，但在小尺度目标识别和局部密集区域的计数精度上表现不佳。此外，虽然AFC数据可用于客流估算，但数据延迟限制了实时监控的应用。近年来，Transformer模型因其在全局特征提取中的优势，在人群计数任务中展现出巨大潜力^［11］。文献［12］利用纯Transformer架构将图像分割为小块，并转换为序列输入编码器进行回归预测。文献［13］通过骨干网络编码生成密度图，显著提升了密集场景下的计数精度。这些基于Transformer的方法为复杂人群场景下的客流统计提供了新的思路和解决方案。

本研究提出1种基于CNN-Transformer融合的城市轨道交通车站客流密度估计方法（MM-CTF）。通过设计多尺度特征融合模块（Multi-scale Feature Fusion Module， MFFM），结合近景与远景的特征，显著提升不同距离乘客的计数准确性。同时，引入多尺度感知增强模块（Multi-scale Perception Enhancement Module，MPEM），结合自适应卷积（Adaptive Convolution，AConv）和膨胀卷积（Dilated Convolution，DConv），增强模型对复杂上下文和遮挡区域的感知能力，进一步提高密集客流的计数精度。此外，所提方法首次将CNN和Transformer结合应用于城市轨道交通密集客流密度估计，以实现局部与全局信息的高效融合，并生成更为精确的密度图。为增强模型在实际场景中的泛化能力，构建了1个涵盖不同密度的地铁站台客流数据集。相比现有方法，该方法能够更有效地应对尺度变化和密集拥挤等复杂场景的挑战。

1 基于MM-CTF的客流密度估计模型

在城市轨道交通车站场景中，由于乘客与摄像机之间的距离变化较大，导致图像中乘客的尺寸存在显著差异，这对模型的多尺度特征提取能力提出了较高要求。此外，高峰期的车站客流密集，常伴随严重的遮挡问题，进一步增加了密集客流特征提取的难度。因此，模型需要具备更强的鲁棒性以应对拥挤遮挡带来的挑战。MM-CTF模型结构如图1所示。

该模型主要由CNN模块和Transformer模块组成，其中CNN模块以VGG-19作为主干网络并添加MFFM和MPEM共同构成。选择VGG-19的原因在于其强大的特征提取能力，能够在分类任务中表现出优异的迁移学习效果，且其结构设计灵活，便于与后端网络连接以生成密度图。在MFFM中，模型通过VGG-19的多层卷积提取不同分辨率的多尺度特征图，并将这些特征图经过下采样后与VGG-19最后一层的输出特征图融合，从而获得包含丰富多尺度信息的特征表达。

融合后的特征图输入至MPEM，通过AConv和DConv获取更广泛的上下文信息，增强模型对远距离乘客和遮挡区域的识别能力。随后，将增强后的特征图展平为序列并输入Transformer编码器。Transformer通过自注意力机制对全局信息进行建模，增强特征之间的长距离依赖关系，从而在部分特征缺失或被遮挡的情况下，从全局上下文中补充细节，进一步提升模型在密集客流场景下的鲁棒性。最终，经过Transformer处理的特征通过回归解码器生成密度图，每个像素值表示该区域的乘客密度。对密度图的像素值求和即可得到总人数，并通过与真实密度图的对比以及相应的损失函数来监督模型训练。

1.1　多尺度特征融合模块

为实现多尺度特征提取，MM-CTF模型在CNN部分设计了MFFM，其结构如图2所示。图中最大池化层均采用2×2卷积核，步长为2，其他卷积层参数见表1。

该模块通过VGG-19主干网络的多层特征提取，以增强模型对不同距离乘客的识别能力。首先，输入图像通过卷积层1进行浅层特征提取，生成高分辨率特征图1，用于捕捉近景乘客的边缘和细节信息；接着，特征图1通过最大池化逐层缩小分辨率，并依次输入卷积层2和卷积层3，分别生成特征图2和特征图3，用于提取中距离乘客的轮廓和结构特征，以区分前景和背景；随后，通过深层特征提取网络生成特征图4和特征图5，用于捕捉远距离乘客的全局信息以及拥挤遮挡区域的分布特征；最终，浅层、中层和深层特征通过下采样和1×1卷积层对齐到相同的分辨率和通道数（即特征图1-1，2-13-14-1），并通过级联融合这些多尺度特征，实现对不同尺度乘客信息的综合建模。具体级联融合运算过程如下。

设浅层特征矩阵{\mathit{F}}_{\mathrm{s}}\in R^{(\mathrm{512}\times \mathrm{64}\times \mathrm{64})}，中层特征矩阵{\mathit{F}}_{\mathrm{m}\mathrm{1}}\in R^{(\mathrm{128}\times \mathrm{256}\times \mathrm{256})}和{\mathit{F}}_{\mathrm{m}\mathrm{2}}\in R^{(\mathrm{256}\times \mathrm{128}\times \mathrm{128})}，深层特征矩阵{\mathit{F}}_{\mathrm{d}\mathrm{1}}\in R^{(\mathrm{512}\times \mathrm{64}\times \mathrm{64})}和{\mathit{F}}_{\mathrm{d}\mathrm{2}}\in R^{(\mathrm{512}\times \mathrm{32}\times \mathrm{32})}。将这些特征矩阵进行维度对齐，对齐后的特征矩阵{\overline{\mathit{F}}}_i为

{\overline{\mathit{F}}}_i=C_{\mathrm{1}}(D({\mathit{F}}_i))　 i\in \{\mathrm{s},\mathrm{m}\mathrm{1},\mathrm{m}\mathrm{2},\mathrm{d}\mathrm{1},\mathrm{d}\mathrm{2}\}（1）

式中：C_{\mathrm{1}}（·）为1×1卷积运算；D（·）为下采样运算。

将中层特征矩阵和深层特征矩阵分别进行融合，中层特征融合矩阵{\overline{\mathit{F}}}_{\mathrm{m}}和深层特征融合矩阵{\overline{\mathit{F}}}_{\mathrm{d}}分别为

{\overline{\mathit{F}}}_{\mathrm{m}}=C_{\mathrm{1}}\left(C_{\mathrm{t}}({\overline{\mathit{F}}}_{\mathrm{m}\mathrm{1}},{\overline{\mathit{F}}}_{\mathrm{m}\mathrm{2}})\right)（2）

{\overline{\mathit{F}}}_{\mathrm{d}}=C_{\mathrm{1}}\left(C_{\mathrm{t}}({\overline{\mathit{F}}}_{\mathrm{d}\mathrm{1}},{\overline{\mathit{F}}}_{\mathrm{d}\mathrm{2}})\right)（3）

式中：{\overline{\mathit{F}}}_{\mathrm{m}\mathrm{1}}和{\overline{\mathit{F}}}_{\mathrm{m}\mathrm{2}}分别为F_{\mathrm{m}\mathrm{1}}和{\mathit{F}}_{\mathrm{m}\mathrm{2}}进行维度对齐后的特征矩阵；{\overline{\mathit{F}}}_{\mathrm{d}\mathrm{1}}和{\overline{\mathit{F}}}_{\mathrm{d}\mathrm{2}}分别为{\mathit{F}}_{\mathrm{d}\mathrm{1}}和{\mathit{F}}_{\mathrm{d}\mathrm{2}}进行维度对齐后的特征矩阵；C_{\mathrm{t}}（·）为级联拼接运算。

将对齐后的浅、中、深层特征矩阵在通道维度上进行级联拼接运算，得到拼接后的特征矩阵{\overline{\mathit{F}}}_{\mathrm{f}}为

{\overline{\mathit{F}}}_{\mathrm{f}}=C_{\mathrm{t}}({\overline{\mathit{F}}}_{\mathrm{s}},{\overline{\mathit{F}}}_{\mathrm{m}},{\overline{\mathit{F}}}_{\mathrm{d}})（4）

随后，通过1×1卷积运算将{\overline{\mathit{F}}}_{\mathrm{f}}通道数降至512，得到最终的特征矩阵\overline{\mathbf{F}}为

\overline{\mathit{F}}=C_{\mathrm{1}}({\overline{\mathit{F}}}_{\mathrm{f}})（5）

1.2　多尺度感知增强模块

在多尺度特征融合之后，尽管模型能够提取浅层、中层和深层的多尺度特征，但局部与全局信息之间的关联性仍然不足，导致对遮挡区域和远近乘客的识别存在局限。为解决这一问题，设计了MPEM，该模块通过融合AConv与DConv策略，显著增强了模型的上下文感知能力，并有效提升了部分遮挡区域的特征提取性能。

AConv通过动态调整卷积核的感受野，使模型能够根据特征内容灵活选择不同范围的卷积操作，从而更精准地提取细微的局部特征。DConv则通过扩展感受野，在不改变分辨率的情况下引入多种膨胀率，以提升对全局上下文的感知范围，从而在更广泛的尺度上捕捉空间信息。AConv与DConv的结合，使模型能够有效整合局部和全局特征，增强对复杂场景的适应性。

AConv由瓶颈卷积（Bottleneck Convolution，BConv）和深度可分离卷积（Depthwise Separable Convolution，DSConv）组成，BConv通过1×1卷积压缩和还原通道数以降低计算量，同时保留关键特征；DSConv则在尽可能减少计算成本的同时捕捉空间和通道的细节与全局特征。这种结构设计在降低计算量的同时，增强了模型对遮挡区域和不同距离目标的鲁棒性。AConv具体结构如图3所示。

AConv接收来自MFFM的最终特征图（32×32×512）作为输入，首先通过1×1卷积核将通道数压缩到128，以降低计算复杂度。随后，采用多分支结构，分别使用3×3，5×5和7×7这3种不同尺度的卷积核进行特征提取。为优化模型效率，各分支均采用DSConv策略：先通过深度卷积提取空间特征，再利用逐点卷积整合通道信息。最终，将3种尺度的DSConv特征图进行级联融合，并通过1×1卷积整合输出得到最终特征图。AConv具体的计算公式为

{{\mathit{F}}_{\varphi }}^{\text{'}}=P(D_{\varphi }(C_{\mathrm{1}}(\overline{\mathit{F}})))　 \varphi \in \{\mathrm{3}\times \mathrm{3,5}\times \mathrm{5,7}\times \mathrm{7}\}（6）

{\mathit{F}}^{\text{'}}=C_{\mathrm{1}}\left(C_{\mathrm{t}}({\mathit{F}}_{\mathrm{3}\times \mathrm{3}}^{\text{'}},{\mathit{F}}_{\mathrm{5}\times \mathrm{5}}^{\text{'}},{\mathit{F}}_{\mathrm{7}\times \mathrm{7}}^{\text{'}})\right)（7）

式中：{\mathit{F}}_{\varphi }^{\mathrm{\text{'}}}为经过DSConv后的特征矩阵；P（·）为逐点卷积运算；D_{\varphi }（·）为深度卷积运算；{\mathit{F}}^{\text{'}}为将3种尺度进行级联融合后的特征矩阵。

在AConv有效捕捉多尺度特征之后，引入DConv进一步扩大感受野。DConv通过设置不同渐进式膨胀率r，构建层次化特征金字塔，在不损失空间分辨率的前提下显著提升模型对全局上下文信息的建模能力。基于高维度卷积设计准则，DConv以锯齿状模式配置，如图4所示。

当r=1时，3×3卷积核覆盖9个邻近像素；r=2时，感受野扩展至49个邻近像素；r=3时，感受野进一步扩大至169个邻近像素。显著扩大了感受野。这种渐进式设计不仅可有效缓解标准DConv中的空隙效应，还通过多尺度特征互补机制增强模型对遮挡区域的鲁棒性，保持局部特征的完整性。经MPEM处理后的特征图具有丰富的空间信息，为后续的Transformer模块提供了高质量的输入，进一步促进全局依赖关系的捕捉，并显著提升模型在轨道交通场景下的表现。

1.3　Transformer模块

虽然基于CNN的MFFM和MPEM提升了特征提取的精度，但在城市轨道交通车站等复杂场景中，现有方法在全局依赖关系建模方面仍存在明显局限。因此，引入Transformer模块以增强模型的远距离依赖建模能力，强化全局和局部信息的整合，从而生成高精度密度图。该模块的结构如图5所示。

Transformer结构由4组编码器和1组解码器组成。编码器单元由多头注意力层和前馈层组成，前者用于建立全局特征依赖关系，后者用于实现特征变换，二者通过层归一化操作以确保训练稳定性。解码器则由1个上采样层和3个卷积层组成，用于逐步恢复空间分辨率。在MM-CTF模型中，CNN提取的多尺度特征图作为输入传递到Transformer编码器。编码器的核心计算单元是多头注意力层，通过全局注意力机制对输入特征进行建模。具体而言，多头注意力层通过计算每个位置的查询向量\mathit{Q}与所有位置的键向量\mathit{K}之间的相似度，得到注意力权重，利用这些权重对值向量\mathit{V}进行加权求和，从而生成每个位置的输出特征。为增强模型的表达能力，多头注意力层将输入特征划分为多个子空间（即“头”），每个头独立计算自注意力，能够从不同角度捕捉特征的细节。这种全局建模能力使得Transformer在复杂的场景中能够生成更为精确的密度图。其全局注意力函数A(\mathit{Q},\mathit{K},\mathit{V})为

A(\mathit{Q},\mathit{K},\mathit{V})=S\left(\frac{(\mathit{Q}{\mathit{W}}_{\mathrm{Q}})(\mathit{K}{\mathit{W}}_{\mathrm{K}}{)}^T}{\sqrt[]{d}}\right)(\mathit{V}{\mathit{W}}_{\mathrm{V}})（8）

式中：S（·）为softmax函数；\sqrt[]{d}为基于向量维数d的比例因子，用于防止softmax函数过早饱和；{\mathit{W}}_{\mathrm{Q}}，{\mathit{W}}_{\mathrm{K}}，{\mathit{W}}_{\mathrm{V}}∈R^d×d 分别为投影的权重矩阵。

层归一化操作通过规范化各层的输入分布，有效缓解梯度消失或爆炸问题，从而确保模型训练的稳定性并加速收敛过程。该操作与残差连接相结合，不仅可促进梯度传播，还增强了模型对深层特征的捕获能力，为前馈层提供标准化的特征输入。前馈层由2个全连接层构成，通过非线性映射进一步处理多头注意力层的输出，显著提升了模型的表征能力。

编码器完成特征处理后，将输出的特征图输入解码器进行密度图重建。解码器通过1个上采样层和3个卷积层生成最终的预测密度图。其中，前两层卷积采用3×3卷积核，最后一层使用1×1卷积核，并在每层卷积后应用ReLU激活函数进行非线性变换。这种设计通过逐步降维和卷积特征提取，实现编码器输出的高维特征到密度图的高效转换，可在保证重建精度的同时保持较低的计算复杂度。

2 试验结果及分析

基于PyTorch深度学习框架对算法进行系统性训练和测试。为提升网络的泛化能力并防止过拟合现象，在训练阶段对图像进行数据增强处理。首先，对训练集中的每张图像进行随机缩放和水平翻转，以增加数据多样性。其次，对训练图像进行随机裁剪，将其裁剪为512×512像素的区域，以确保网络能够关注图像中的不同局部特征，从而提升模型的局部感知能力。在训练参数设置方面，选用Adam优化算法，设置初始学习率为10^-6，权重衰减系数为10^-5，总迭代次数为800次。

采用欧几里得距离作为损失函数，该函数能够精确衡量估计密度图与真实密度图之间的像素级差异，通过对像素级误差的平方和求平均，能够精确量化密度图间的细微差异，确保优化过程的平滑性和稳定性。在处理密集客流和遮挡区域时，欧几里得距离能够提供一致且可靠的梯度信息，从而提升模型在复杂场景下的鲁棒性，尤其是在高密度和遮挡现象较为严重的情况下，能有效减少误差，提高预测精度。损失函数L_{\mathrm{e}}为

L_{\mathrm{e}}=\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}||G(X_i,\theta )-D_i^{}|{|}_{\mathrm{2}}^{\mathrm{2}}（9）

式中：N为训练批次中的图像数量；G(X_i,\theta )为训练图像X_i的估计密度值，θ为模型参数集，包含网络中所有可学习的权重和偏置；D_i 为X_i的真实密度值；||\cdot |{|}_{\mathrm{2}}^{\mathrm{2}}为L_{\mathrm{2}}范数的平方运算，表示估计密度值与真实密度值之间的差异。

2.1　评价指标

试验采用人群计数领域常用的两项评估指标：平均绝对误差{\sigma }_{\mathrm{M}\mathrm{A}\mathrm{E}}和均方误差{\sigma }_{\mathrm{M}\mathrm{S}\mathrm{E}}。其计算式为

{\sigma }_{\mathrm{M}\mathrm{A}\mathrm{E}}=\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}|M_i-N_i|（10）

{\sigma }_{\mathrm{M}\mathrm{S}\mathrm{E}}=\sqrt[]{\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}(M_i-N_i{)}^{\mathrm{2}}}（11）

式中：n为样本图像的数量；M_i和N_i^{}分别为第i个图像的实际人数和估计人数。

{\sigma }_{\mathrm{M}\mathrm{A}\mathrm{E}}主要用来衡量模型预测的准确性，其值越小表明模型的预测结果与真实值越接近。{\sigma }_{\mathrm{M}\mathrm{S}\mathrm{E}}主要用来衡量模型的鲁棒性，其值越低表明模型对噪声或异常值的适应能力越强，在面对复杂场景或极端条件时仍能保持稳定的性能。

2.2　自制数据集构建及试验

现有的公开数据集在应用于城市轨道交通车站场景时存在显著局限性，主要体现在车站内人群密度动态变化显著、摄像头视角固定以及环境复杂等方面。因此，构建了1个地铁站台数据集（Metro-platform）。该数据集采集自某省地铁站多个站台的监控视频，并通过数据增强技术筛选出2 000张分辨率为1 920×1 080的图像样本，涵盖低、中、高3种密度客流状态，可真实反映站台内人群分布的动态变化及高峰期拥挤特征。数据集按照8∶1∶1的比例划分为训练集、验证集和测试集。MM-CTF方法与现有主流方法在该数据集上的性能对比结果见表2。

由表2可知：相较于其他方法，MM-CTF在该数据集上取得了最优性能，其{\sigma }_{\mathrm{M}\mathrm{A}\mathrm{E}}和{\sigma }_{\mathrm{M}\mathrm{S}\mathrm{E}}分别为18.4和23.3。这一优异性能主要归因于MFFM和Transformer编码器的协同作用，共同增强了模型在复杂地铁场景下的鲁棒性。该方法在自制数据集上的密度图可视化结果如图6所示，图中右下角白色数字为密度图中对应的人数。

由图6可知：MM-CTF模型在不同客流密度场景下展现出良好的预测性能，生成的预测密度图与实际密度图具有较高的一致性，能够准确识别不同距离的目标，并在多数密集遮挡区域保持良好的预测效果。尽管该模型在大多数场景中表现出较强的鲁棒性，但在极端遮挡和复杂背景干扰下，仍可能出现一些预测误差。值得注意的是，即使在严重遮挡区域出现局部误差的情况下，模型仍保持了较好的整体预测性能，其漏检率和误判率均维持在较低水平，这表明MM-CTF模型在极端条件下仍具有可靠的预测能力。MM-CTF在200张测试图像上的实际检测结果如图7所示。由图7可知，模型的预测结果与实际数据较为接近，说明MM-CTF方法具备较高的检测精度。

2.3　公开数据集试验

为全面评估模型性能，选取3个具有代表性的公开数据集ShanghaiTech-A^［2］，UCF-QNRF^［16］和JHU-Crowd++^［17］进行试验。这些数据集在人群密度分布、场景复杂程度和环境多样性等方面具有显著差异。ShanghaiTech-A数据集主要采集自校园、商业区及公共交通站点等高分辨率场景；UCF-QNRF数据集以超高密度人群为特征，涵盖城市街道、广场及大型集会场所；JHU-Crowd++数据集则着重于复杂光照条件及多视角场景，包含夜间、逆光等极端环境样本。MM-CTF模型与当前主流模型的对比试验结果见表3。

由表3可知：MM-CTF模型在3个基准数据集上均展现出优异的性能。在ShanghaiTech-A数据集上，{\sigma }_{\mathrm{M}\mathrm{A}\mathrm{E}}和{\sigma }_{\mathrm{M}\mathrm{S}\mathrm{E}}分别为55.6和93.8；在UCF-QNRF数据集上，{\sigma }_{\mathrm{M}\mathrm{A}\mathrm{E}}和{\sigma }_{\mathrm{M}\mathrm{S}\mathrm{E}}分别为86.7和149.8；在JHU-Crowd++数据集上，{\sigma }_{\mathrm{M}\mathrm{A}\mathrm{E}}和{\sigma }_{\mathrm{M}\mathrm{S}\mathrm{E}}分别为59.7和245.5；该模型在ShanghaiTech-A和JHU-Crowd++数据集上的2项评价指标均显著优于其他模型，尽管在UCF-QNRF数据集上，由于极端高密度人群分布和复杂背景干扰等因素导致性能指标略有下降，但其仍保持了与最新方法相当的水平。这一结果充分证明MM-CTF模型在处理多样化人群密度、复杂背景干扰以及多尺度变化等挑战时的鲁棒性和泛化能力。MM-CTF模型在公开数据集上的可视化结果如图8所示。

由图8可知：MM-CTF模型在各类人群密度场景中均表现出稳定可靠的性能，在背景复杂、设施遮挡严重的低密度场景中，MPEM模块通过增强模型对差异化空间区域的感知能力提升了检测精度；在中密度场景下，MFFM模块显著提高了人群的多尺度特征提取能力，使得预测密度图与实际密度图在远、近景中均保持高度一致；在高密度场景下，模型中的Transformer架构通过自注意力机制对全局上下文信息进行深度建模，进一步强化了模型对密集区域人群特征的提取能力，从而确保高密度环境下的识别准确率。

为系统评估模型在不同场景和极端条件下的鲁棒性，选取具有代表性的测试样本进行深入分析，部分可视化结果如图9所示。由图9可知：MM-CTF模型在多尺度变化和密集遮挡等挑战性场景中表现出色，其预测结果与实际值保持较好的一致性。特别是在视角模糊、光照变化及复杂背景干扰等极端条件下，模型仍能保持较高的预测精度，充分证实MM-CTF模型具有较强的场景适应能力和鲁棒性，能够有效应对实际应用中的多样化场景需求。

3 模型性能对比评估

3.1　结构验证试验

为验证MFFM，MPEM和Transformer模块的有效性，在不同数据集上进行消融试验。以VGG-19为主干网络的客流密度估计模型作为基础模型，其中“√”表示在基础模型上添加该模块。试验结果见表4。

由表4可知：VGG-19基础模型因缺乏多尺度特征提取以及密集场景的适应能力，其初始性能较弱；通过逐步集成MFFM，MPEM和Transformer模块，模型的各项性能指标均获得显著提升，证实了各模块在提升计数精度方面的有效性；当3个模块协同工作时，模型在ShanghaiTech-A和Metro-platform数据集上性能最优，{\sigma }_{\mathrm{M}\mathrm{A}\mathrm{E}}分别降低至55.6和18.4，{\sigma }_{\mathrm{M}\mathrm{S}\mathrm{E}}分别降低至93.8和23.3。这种性能提升得益于各模块的互补性：MFFM确保了多尺度特征的充分提取，MPEM增强了局部特征的表达能力，而Transformer则提供了全局上下文建模能力，三者协同使得模型能够生成更精确的密度图，特别是在城市轨道交通车站等复杂场景下表现出色。各模型结构的试验可视化结果如图10所示。

由图10可知：Transformer模型在处理多尺度目标时表现较差，尤其对镜头较近的目标存在明显漏检；而CNN模型由于集成MFFM和MPEM模块，在多尺度目标检测性能上有所改进，但在密集遮挡区域仍存在漏检问题；MM-CTF模型在多尺度目标处理和遮挡区域的检测能力上均显著提升，在精度和鲁棒性上的优秀表现进一步验证了其在客流密度估计任务中的有效性和优势。

3.2　检测速率试验

为优化模型计算效率，在多MPEM中引入DSConv，显著降低了计算复杂度。以输入特征图尺寸32×32×128为例，传统卷积和DSConv对比结果见表5。

由表5可知：使用DSConv可显著降低参数量，以3×3卷积核为例，DSConv的参数量比传统卷积减少了约88%，整体的参数量减少了94.9%。表明DSConv的引入在大幅提升模型计算效率的同时，仍能保持其特征提取能力，可为模型在资源受限环境下的部署提供有效解决方案。

为全面评估模型性能，对运行成本进行详细分析。试验环境配置如下：操作系统版本为Ubuntu 16.04；GPU型号为NVIDIA Titan XP 2080Ti （12 GB显存）；内存为64 GB；软件环境为基于PyTorch的深度学习框架和Python 3.7。评估指标包括模型参数量、512×512分辨率输入图像下的浮点运算量（FLOPs）以及推理时间。评估结果见表6。其中“√”表示在基础模型上添加该模块。

由表6可知：在VGG-19模型的基础上，随着模块的叠加，模型参数量从21.5 M增至32.5 M，计算复杂度由20.5 G提升至33.8 G，推理时间从10.5 ms延长至29.5 ms；尽管引入模块导致计算成本有所上升，但最终推理时间（29.5 ms）仍显著低于实时处理时间要求（对于24 FPS的视频流，实时处理阈值为41.7 ms·帧^-1），且参数量与计算复杂度的增幅在可接受的范围内。这一结果表明，MM-CTF通过模块化设计实现了性能与效率的平衡，在保障检测精度的前提下，能够满足城市轨道交通场景的实时检测需求。相较于传统CNN模型，MM-CTF模型展现出更强的工程适用性。

4 结论

（1）针对城市轨道交通车站高密度客流统计中存在的尺度特征提取和严重遮挡等挑战，本研究提出了1种基于CNN-Transformer融合的客流密度估计方法。该方法通过设计MFFM和MPEM模块，提升了模型对不同尺度、遮挡区域人群特征的提取能力。同时，集成Transformer编码器，利用自注意力机制实现全局上下文信息与局部特征的深度融合，从而生成更加精确的密度图。

（2）与现有主流模型相比，MM-CTF模型在城市轨道交通场景中的平均绝对误差和均方误差分别降低了20.35%和12.73%。此外，推理时间为29.5 ms，满足实时处理要求，并在多个数据集上表现出良好的泛化能力。

参考文献

[1] 中国城市轨道交通协会.城市轨道交通2023年度统计和分析报告解读［J］.城市轨道交通，2024（4）：15-17.

[2] China Association of Metros. Interpretation of Statistics and Analysis Report of Urban Rail Transit in 2023 ［J］. China Metros， 2024 （4）： 15-17. in Chinese

[3] ZHANG Y Y， ZHOU D S， CHEN S Q， et al. Single-Image Crowd Counting via Multi-Column Convolutional Neural Network ［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE Press， 2016： 589-597.

[4] ZHANG A， SHEN J， XIAO Z， et al. Relational Attention Network for Crowd Counting ［C］// 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. New York： IEEE Press， 2019： 6787-6796.

[5] LIANG L， ZHAO H， ZHOU F， et al. PDDNet： Lightweight Congested Crowd Counting via Pyramid Depth-Wise Dilated Convolution ［J］. Applied Intelligence， 2023， 53 （9）： 10472-10484.

[6] WANG T， ZHANG T， ZHANG K， et al. Context Attention Fusion Network for Crowd Counting ［J］. Knowledge-Based Systems， 2023， 271：110541.

[7] QIAN X， YU X， FA C. The Passenger Flow Counting Research of Subway Video Based on Image Processing ［C］// 2017 29th Chinese Control and Decision Conference （CCDC）. New York： IEEE Press， 2017： 5195-5198.

[8] SHENG Z， TIAN K， TIAN Q， et al. A Faster R-CNN Based High-Normalization Sample Calibration Method for Dense Subway Passenger Flow Detection ［C］// 2018 11th International Congress on Image and Signal Processing， BioMedical Engineering and Informatics （CISP-BMEI）. New York： IEEE Press， 2018： 1-5.

[9] HU X， ZHENG H， WANG W， et al. A Novel Approach for Crowd Video Monitoring of Subway Platforms ［J］. Optik， 124 （22）： 5301-5306.

[10] 吴俊演，刘霞，李雅卓.基于深度学习的地铁车站站台层实时客流检测应用研究［J］.江汉大学学报（自然科学版），2023，51（5）：67-74.

[11] WU Junyan， LIU Xia， LI Yazhuo. Application Research on Passenger Flow Real-Time Detection of Subway Station Platform Based on Deep Learning ［J］. Journal of Jianghan University （Natural Science Edition）， 2023， 51 （5）： 67-74. in Chinese

[12] 李瑞，李平，代明睿，等.基于铁路客站视频多视角特征图投影融合的人群密度估计模型［J］.中国铁道科学，2022，43（3）：182-192.

[13] LI Rui， LI Ping， DAI Mingrui， et al. Crowd Counting Estimation Model Based on Multi-View Projection Fusion of Railway Passenger Station Video ［J］. China Railway Science， 2022， 43 （3）： 182-192. in Chinese

[14] VASWANI A， SHAZEER N， PARMAR N， et al. Attention Is All You Need ［J］. ArXiv e-Prints， 2017： arXiv：

[15] LIANG D K， CHEN X W， XU W， et al. TransCrowd： Weakly-Supervised Crowd Counting with Transformers ［J］. Science China Information Sciences， 2022， 65 （6）： 160104.

[16] TIAN Y， CHU X， WANG H. CCTrans： Simplifying and Improving Crowd Counting with Transformer ［J］. ArXiv e-Prints， 2021： arXiv：

[17] LI Y， ZHANG X， CHEN D. CSRNet： Dilated Convolutional Neural Networks for Understanding the Highly Congested Scenes ［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE Press， 2018： 1091-1100.

[18] LIU W， SALZMANN M， FUA P. Context-Aware Crowd Counting ［C］// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE Press， 2019： 5094-5103.

[19] IDREES H， TAYYAB M， ATHREY K， et al. Composition Loss for Counting， Density Map Estimation and Localization in Dense Crowds ［M］// Computer Vision-ECCV 2018. Cham： Springer International Publishing， 2018， 11206： 544-559.

[20] SINDAGI V A， YASARLA R， PATEL V M. JHU-CROWD++‍： Large-Scale Crowd Counting Dataset and a Benchmark Method ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44 （5）： 2594-2609.

[21] LIU L， LU H， ZOU H， et al. Weighing Counts： Sequential Crowd Counting by Reinforcement Learning ［M］// Computer Vision-ECCV 2020. Cham： Springer International Publishing， 2020： 164-181.

[22] MA Z， WEI X， HONG X， et al. Learning to Count via Unbalanced Optimal Transport ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2021， 35 （3）： 2319-2327.

[23] WAN J， LIU Z， CHAN A B. A Generalized Loss Function for Crowd Counting and Localization ［C］// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE Press， 2021： 1974-1983.

[24] ALDHAHERI S， ALOTAIBI R， ALZAHRANI B， et al. MACC Net： Multi-Task Attention Crowd Counting Network ［J］. Applied Intelligence， 2022， 53 （8）： 9285-9297.

基金资助

国家重点研发计划项目(2022YFB4301305)