面向铁路周界远小目标入侵检测的视频超分辨率重建技术研究

Research on Video Super-Resolution Reconstruction Technology for Intrusion Detection of Remote and Small Targets along Railway Perimeters

摘要

针对铁路长纵深监控环境下远小目标图像特征信息不足的问题，对视频超分辨率重建技术进行研究。首先，基于BasicVSR网络，利用前后帧信息设计特征交互增强（FIE）模块和图拉普拉斯金字塔低频分离（GLPLS）模块，构建高效的远小目标特征重建网络RailVSR；其次，在RailVSR网络中集成联合损失函数，优化网络对高分辨率图像和目标检测精度的双重关注；最后，将RailVSR网络与目标检测算法RT-DETR相结合，增强铁路长纵深监控场景下远小目标入侵检测能力。结果表明：与原始RT-DETR目标检测算法相比，基于RailVSR网络改进的目标检测算法对铁路周界入侵的检测精度至少提高13%，其平均检测精度至少提升11%；在VSTR铁路样本库构建的铁路监控数据集中，当目标像素占比超过0.05%时，检测漏报率和错报率均为0，且平均检测精度可达85%以上。该研究对铁路周界远小目标入侵检测具有有效性，可提升铁路安全运营的保障水平。

Abstract

Aiming at the problem of insufficient feature information of remote and small target images in railway long-depth monitoring scenarios, investigation on the video super-resolution reconstruction technology is conducted. Firstly, based on the BasicVSR network, the Feature Interaction Enhancement (FIE) module and the Graph Laplacian Pyramid Low-Frequency Separation (GLPLS) module are designed relying on the information from preceding and succeeding frames, thereby constructing an efficient feature reconstruction network RailVSR of remote and small targets. Secondly, a joint loss function is integrated into the RailVSR network to optimize the dual attention of network on high-resolution image quality and target detection precision. Lastly, by combining RailVSR network with the RT-DETR target detection algorithm, the capability for detecting remote and small target intrusions in the long-depth monitoring scenarios of railway is enhanced. The results demonstrate that compared with the original RT-DETR target detection algorithm, the improved algorithm based on the RailVSR network at least achieves a 13% improvement in the detection precision of railway perimeter intrusions, with an average precision increase of at least 11%. In the railway monitoring dataset constructed by the VSTR railway sample database, both the detection false negative rate and false positive rate are 0 when the proportion of target pixel exceeds 0.05%, and the average detection precision can reach over 85%. These findings confirm the effectiveness of the proposed method in intrusion detection of remote and small targets along railway perimeters, and significantly enhance the safety of railway operations.

Graphical abstract

关键词

铁路周界 / 远小目标 / 入侵检测 / 任务型视频超分辨重建

Key words

Railway perimeters / Remote and small targets / Intrusion detection / Task-oriented video super-resolution reconstruction

截至2024年9月，中国铁路运营里程突破16万公里，其中高铁运营里程超4.6万公里。随着铁路网络的扩展，铁路周界异物入侵问题日益突出，对其技防水平提出了更高的要求。铁路周界监控环境具有长纵深特点，远距离入侵目标在监控图像中成像小，导致特征信息模糊且边缘锯齿状，难以与复杂背景精确区分，从而增加误报和漏报的风险，对铁路安全构成威胁。

目前，针对低分辨远小目标检测的研究主要有两方面：单一目标检测^［1-2］和超分辨率重建后检测^［3-4］。在目标检测方面，朱力强等^［5］提出1种多输入双输出神经网络结合自适应特征加权融合的目标多尺度特征感知算法，实现了铁路行人的高精度检测。王瑞峰等^［6］提出改进的YOLOv5轨道异物入侵检测算法，通过调整自适应参数并利用CLAHE算法增强对比度，提高了轨道异物入侵检测的准确性。胡昊等^［7］在铁路监控视频分析中，针对不同距离的行人检测问题，通过在FairMOT框架中集成感受野模块，增强了模型对各种成像尺寸行人的检测能力，有效提取了多尺度特征信息。蔡鑫楠等^［8］借助无人机航拍和人工搜集扩充轨道异物数据集，通过扩充训练数据量以及加大数据集的小目标比例，提升异物检测精度。张剑等^［9］通过改进YOLOv3的FPN结构，建立多尺度网络，提升了异物检测性能。徐鑫等^［10］通过多种途径自建铁路场景专用的异物侵限数据集，并引入多种数据增强技术，对数据集进行扩增，同时在数据集图像中增添噪声模拟真实环境，增强了模型学习效果。

在超分辨率重建后检测方面^［11-12］，Zhao^［13］指出即使运用高分辨图像训练出很好的网络，其对于低分辨特征的检测精度也不会得到有效提升。一些定量分析试验已验证了超分辨率（SR）方法能有效增强目标检测器性能^［14-15］。针对该问题，刘义健等^［16］将SRGAN模型应用于轨道异物入侵检测，以提高小目标的检测能力。赵冰^［17］利用RAISR技术对铁路关键部分进行超分辨率重建，以提升对于部件缺陷的分类精度。尽管这些研究在检测精度上有所提升，但并未充分考虑铁路现场的实际应用场景，而是着重于恢复与高分辨率（HR）图像相似的SR图像^［18］。这导致精度提升有限，且对于铁路监控视频中远小目标的重建并不完全适用于后续的目标检测^［19］。因此，探索超分辨率网络与目标检测网络的协同作用，并构建1个能够增强铁路远小目标信息的超分辨率网络，对于提升铁路周界入侵检测算法的性能至关重要。不仅可减少监控区域的漏报和错报，还能满足铁路周界远小目标入侵检测的实际需求。

针对铁路远小目标入侵检测的挑战，本研究提出1种超分辨率重建网络RailVSR，基于BasicVSR网络引入特征交互增强（Feature Interaction Enhancement，FIE）模块，通过融合通道和空间注意力模块强化远小目标特征；采用图拉普拉斯金字塔低频分离（Graph Laplacian Pyramid Low-Frequency Separation，GLPLS）模块有效分离图像高低频信息，增强目标与背景的区分度；此外，将改进的Unet^［20］网络与目标检测导向的联合损失函数相结合，进一步提升远小目标特征信息的学习能力。RailVSR网络可为铁路现场远小目标检测技术提供重要支持，其新颖的处理方式为现场远小目标的检测提供了重要参考。

1 铁路远小目标特征重建网络

1.1　RailVSR网络架构

在铁路监控视频中，两帧间特征的对齐与上采样重建对视频超分辨率效果至关重要。这一过程利用视频的时空信息，帮助模型更有效地分离前景和背景信息，实现精确重建。对于铁路周界中的远小目标，由于距离监控设备较远且易受噪声影响，深度学习网络在采集关键纹理特征和结构信息时存在困难，且帧间特征对齐时干扰较大。因此，进行特征增强后的信息分离显得尤为重要。RailVSR网络可以有效解决上述问题，通过增强特征来提升远小目标的超分辨率重建效果。其网络结构如图1所示。

RailVSR网络由FIE特征增强模块、GLPLS特征分离模块、光流估计模块、聚合上采样模块和Unet网络构成。按照功能分为生成器和鉴别器两部分。在生成器部分，首先利用FIE模块增强前后帧特征，通过注意力模块强化远小目标的特征表示；接着，GLPLS模块对强化特征进行频率分离，分别强化高低频信息，减少重建过程中的信息干扰，并去除噪声；最终，高低频信息经过光流特征估计进行对齐融合，通过聚合上采样得到放大2倍或4倍的视频帧。鉴别器部分的U型网络鉴别器由Unet网络搭配联合损失函数构成，负责对比生成图像与真实图像并进行矫正。此外，结合RT-DETR目标检测损失函数和RailVSR重建损失，使RailVSR网络更关注特征层面，从而优化重建图像以适应目标检测任务。

1.2　FIE特征增强模块

在现有视频超分辨率方法中，帧间特征对齐是上采样过程的一个关键步骤。然而，对于铁路周界远小目标检测，传统对齐方法可能导致目标信息丢失或误判为噪声。因此设计FIE模块，通过利用特征间信息的差异性和相似性来强化目标特征表示，以优化超分辨率重建。FIE模块由不同步长的1×1卷积核、通道注意力模块^［21］、特征聚合模块和融合模块组成，其结构如图2所示。该模块对输入的前后视频帧进行详细计算，主要分为三个核心步骤：空间信息计算、通道信息计算以及信息聚合。

在空间信息计算阶段，首先利用卷积层处理连续视频帧，生成特征映射对；然后，将三维特征映射重塑为二维的C\times N矩阵；接着，对两个分支产生的特征进行矩阵乘积，形成特征映射矩阵；最终，在每个分支上应用softmax层，计算得到第i帧和第i-\mathrm{1}帧图像的空间注意力特征矩阵{\mathit{A}}_i和{\mathit{A}}_{i-\mathrm{1}}为

{\mathit{A}}_i=\frac{{{\mathrm{e}}^{{\mathit{Q}}_i}}^{{\mathit{Q}}_{i-\mathrm{1}}}}{{\displaystyle \sum _{i=\mathrm{1}}^N}{{\mathrm{e}}^{{\mathit{Q}}_i}}^{{\mathit{Q}}_{i-\mathrm{1}}}}（1）

{\mathit{A}}_{i-\mathrm{1}}={\mathit{A}}_i^{\mathrm{T}}（2）

式中：{\mathit{Q}}_i和{\mathit{Q}}_{i-\mathrm{1}}分别为第i帧和第i-\mathrm{1}帧对应的特征矩阵；{\mathit{A}}_i^{\mathrm{T}}为{\mathit{A}}_i的转置；N为图像的像素乘积值，N=HW；H为像素高度；W为像素宽度。

在通道信息计算阶段，将前后视频帧输入2个3×3卷积中，步长设置为1，以生成C\times H\times W的三维特征矩阵{\mathit{V}}_i和{\mathit{V}}_{i-\mathrm{1}}。为方便进行通道计算，将其重塑为C\times N的二维矩阵形式，并进一步通过相同卷积提取前后帧间的相似性特征。最终，{\mathit{A}}_i和{\mathit{V}}_i特征矩阵分别与信息聚合阶段的输出进行聚合，并重塑回原始的三维矩阵形式，以便于后续帧的特征图处理。

在信息聚合阶段，利用新生成的前后帧特征计算得到增强的特征矩阵{\mathit{P}}_i和{\mathit{P}}_{i-\mathrm{1}}为

{\mathit{P}}_i={\left({\displaystyle \sum _{i=\mathrm{1}}^N}{\mathit{A}}_i\times {\mathit{V}}_i\right)}^{\mathrm{T}}（3）

{\mathit{P}}_{i-\mathrm{1}}={\left({\displaystyle \sum _{i=\mathrm{1}}^N}{\mathit{A}}_{i-\mathrm{1}}\times {\mathit{V}}_{i-\mathrm{1}}\right)}^{\mathrm{T}}（4）

式中：{\mathit{V}}_i和{\mathit{V}}_{i-\mathrm{1}}为通道信息计算后的前后帧对应特征矩阵。

将{\mathit{P}}_i和{\mathit{P}}_{i-\mathrm{1}}输入由卷积层和归一化层构成的转换层，该层依据空间注意力图选择性地聚合上下文信息，使得相似的语义特征相互促进，进而增强类内紧凑性和语义一致性。

通道注意力模块主要用于采集并学习不同级别的特征信息，实现对通道的自适应放大或缩小，以及特征校准。首先，通过全局池化层将前后帧特征聚合成一个特定的通道向量。随后，利用包含全连接层和激活函数的多层感知机将通道向量映射到相似性关系的通道级特征空间中。多层感知机通过支持和查询特征间的依赖关系，增强特定语义的特征表示。接着，在重新加权的方式下将映射后的通道向量与位置嵌入特征相乘，以选择性地突出最重要的特征。最终，通过残差连接将输出与原始输入特征相结合，以增强模型性能。图像内通道注意力计算式为

{\mathit{Q}}_{s,i}=U_{\mathrm{P}}\left[M_{\mathrm{L}\mathrm{P}}\left(P\left({\mathit{Q}}_{s,i}\right)\right)\right]{\mathit{P}}_i+{\mathit{Q}}_i（5）

{\mathit{Q}}_{s,i-\mathrm{1}}=U_{\mathrm{P}}\left[M_{\mathrm{L}\mathrm{P}}\left(P\left({\mathit{Q}}_{s,i}\right)\right)\right]{\mathit{P}}_{i-\mathrm{1}}+{\mathit{Q}}_{i-\mathrm{1}}（6）

式中：{\mathit{Q}}_{s,i}和{\mathit{Q}}_{s,i-\mathrm{1}}为增强后的输出特征矩阵；P（·）为最大池化运算；M_{\mathrm{L}\mathrm{P}}（·）为归一化运算；U_{\mathrm{P}}（·）为随机上采样运算。

1.3　GLPLS特征分离模块

为解决铁路远小目标因边缘轮廓锯齿状和纹理信息不足而难以与背景区分的问题，采用GLPLS特征分离模块将监控图像的特征信息分离为高低频成分，通过FEU模块^［22］强化这些频带信息，以增强铁路远小目标的特征表示能力，并有效区分入侵目标与复杂背景，从而提高目标检测网络的检测精度。GLPLS模块考虑到噪声对特征的影响，并充分利用高频信息中噪声与图像特征的差异。其结构如图3所示。

GLPLS模块接收RGB增强图像作为输入，使用拉普拉斯卷积层以步长2对高斯模糊的特征空间进行采样，以获取处理后的特征图。通过卷积层提取低频特征，并通过对视频帧进行卷积以及上采样的低频特征来获得高频特征。对于分离得到的高低频特征，采用频率增强单元（Frequency Enhancement Unit，FEU）进行频率增强处理，最终输出增强后的高低频特征。

FEU模块由标准卷积层、激活层和ReLU激活函数组成，其结构如图4所示。在此基础上，进一步集成通道注意力机制以调整FEU模块中的残差信息集成，使得不同分支能够在不同阶段有选择性地融合相应的频率成分。该模块在不同阶段提取的特征包含不同的信息，其中一些特征集中于结构信息，而另一些则集中于纹理细节。基于这些差异，从输入特征开始进行分阶段增强，最终输出经过增强的特征。

1.4　光流估计与聚合上采样

GLPLS模块产生的高频信息特征与低频特征信息经过光流估计模块进行处理，再对特征进行相关变换，实现特征对齐。该过程中光流特征矩阵{\mathit{S}}_{i,\left(\mathrm{b},\mathrm{f}\right)}，输入对齐的特征矩阵{\overline{\mathit{h}}}_{i,\left(\mathrm{b},\mathrm{f}\right)}和输出特征矩阵{\mathit{h}}_{i,\left(\mathrm{b},\mathrm{f}\right)}为

{\mathit{S}}_{i,\left(\mathrm{b},\mathrm{f}\right)}=S\left({\mathit{x}}_i,{\mathit{x}}_{i\pm \mathrm{1}}\right)（7）

{\overline{\mathit{h}}}_{i,\left(\mathrm{b},\mathrm{f}\right)}=W\left({\mathit{h}}_{i\pm \mathrm{1},\left(\mathrm{b},\mathrm{f}\right)},{\mathit{S}}_{i,\left(\mathrm{b},\mathrm{f}\right)}\right)（8）

{\mathit{h}}_{i,\left(\mathrm{b},\mathrm{f}\right)}=R_{\mathrm{b},\mathrm{f}}\left({\mathit{x}}_i,{\overline{\mathit{h}}}_{i,\left(\mathrm{b},\mathrm{f}\right)}\right)（9）

式中：{\mathit{x}}_i和{\mathit{x}}_{i\pm \mathrm{1}}为输入的第i个视频帧与其前后视频帧对应的特征矩阵；S为SpyNet光流估计函数；W（·）为空间变换；R_{\mathrm{b},\mathrm{f}}为残差函数；b和f分别表示双向循环的向后和前置输出通道。

在特征聚合上采样模块中，首先，对光流估计后的中间特征执行聚合操作，将光流估计得到的双分支特征图进行对齐和融合。随后，采用随机上采样方法对聚合后的特征图进行2倍或4倍的上采样。此过程分别对高低频聚合特征进行上采样，并与原始低分辨率视频帧的上采样结果进行聚合，最终，输出当前帧的超分辨率重建结果。

2 引入目标检测监督信息

为增强铁路周界入侵目标检测的准确性，将超分辨重建网络作为目标检测的预处理模块，以最大限度地补充特征信息。为此，设计联合定位损失函数来建立RailVSR超分辨重建网络与目标检测网络之间的联系，并引入目标检测的监督信息。联合定位损失函数需借助2个网络框架的损失函数进行构建：一个是超分辨重建网络框架的损失函数，该函数基于现场低分辨图像进行超分重建，并计算超分辨率重建损失L_{\mathrm{V}\mathrm{S}\mathrm{R}}以补偿重建图像与超分图像之间的差异；另一个是目标检测网络框架的损失函数，该函数利用超分重建后的图像进行训练和推理，并输出检测框定位损失，以此评估目标检测的精度。

2.1　RailVSR损失函数构建

RailVSR超分辨率重建损失函数主要有4个部分构成，分别是图像清洗损失函数L_{\mathrm{C}}、图像像素损失函数L_{\mathrm{P}}、图像感知损失函数L_{\mathrm{P}\mathrm{P}}和Gan网络损失函数L_{\mathrm{G}}。RailVSR超分辨率重建损失函数L_{\mathrm{V}\mathrm{S}\mathrm{R}}的计算式为

\begin{array}{l}{L}_{\mathrm{V}\mathrm{S}\mathrm{R}}=L_{\mathrm{P}}+L_{\mathrm{C}}+L_{\mathrm{P}\mathrm{P}}+\mathrm{0.05}{L}_{\mathrm{G}}=\\ \frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}\left|p_i-t_i\right|+\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}\left|p_{i\mathrm{1}}-t_{i\mathrm{1}}\right|+\\ \sum _{\mathrm{o},\mathrm{p}\in \mathrm{R}}\sqrt[]{{\left(p_{x\mathrm{o}}-p_{x\mathrm{p}}\right)}^{\mathrm{2}}+{\left(p_{y\mathrm{o}}-p_{y\mathrm{p}}\right)}^{\mathrm{2}}}-\\ \mathrm{0.05}{\displaystyle \sum _{i=\mathrm{1}}^N}{t}_i\mathrm{l}\mathrm{g}{p}_i\end{array}（10）

式中：p_i为第i帧生成图像的特征值；t_i为第i帧真实图像的特征值；p_{i\mathrm{1}}为清洗后图像的特征值；t_{i\mathrm{1}}为高清图像特征值；N_p为图像数量；p_{x\mathrm{p}}和p_{x\mathrm{o}}分别为特征图沿像素x方向的输入和输出特征值；p_{y\mathrm{p}}和p_{y\mathrm{o}}分别为特征图沿像素y方向的输入和输出特征值，R为网络层级数，R=\left\{\mathrm{2,7},\mathrm{16,25,34}\right\}。

2.2　目标检测损失函数

考虑到铁路周界入侵检测应用成本问题，采用RT-DETR网络作为目标检测器辅助超分辨重建网络的构建。RT-DETR为端对端目标检测网络，相较于YOLOv8、YOLOv9等网络，展现出速度快、精度高的特点。此外，其损失函数设计具有较高代表性，可为后续联合提供借鉴价值。试验过程中，在训练的同时获取RT-DETR对重建SR图像的检测结果并返回定位损失函数，RT-DETR对于损失函数方面采用多种损失共同描述的方式来计算训练损失。其定位损失函数L_{\mathrm{F}\mathrm{L}}为

L_{\mathrm{F}\mathrm{L}}=\frac{\mathrm{1}}{N_{\mathrm{p}}}{\displaystyle \sum _{i=\mathrm{1}}^N}\left|a_i-b_i\right|+\frac{A_{\mathrm{O}}}{A_{\mathrm{U}}}-\frac{A_{\mathrm{C}}-A_{\mathrm{O}}}{A_{\mathrm{C}}}（11）

式中：a_i和b_i为RT-DETR模型预测值和对应的标注真实值；A_{\mathrm{O}}和A_{\mathrm{U}}分别为远小目标预测边框与其真实边框的相交面积和合并面积；A_{\mathrm{C}}为远小目标真实框面积。

2.3　联合损失函数构建

联合损失函数L_{\mathrm{R}}是结合L_{\mathrm{F}\mathrm{L}}和L_{\mathrm{V}\mathrm{S}\mathrm{R}}构造而成的，其计算式为

L_{\mathrm{R}}=\alpha L_{\mathrm{F}\mathrm{L}}+\beta L_{\mathrm{V}\mathrm{S}\mathrm{R}}（12）

式中：\alpha和\beta分别为不同损失函数对应的权重，其初始值设定为0。二者依据网络的反馈和逐层损失结果进行动态调整，以维持平衡，当损失函数的值达到稳定最低点时，\alpha和\beta的值将不再变化。

3 试验配置

3.1　数据集建立

为验证所提技术在铁路周界远小目标入侵检测中的性能，基于VSTR^［23］铁路周界入侵目标样本库补充构建了超分辨铁路连续视频数据集RailData。该数据集涵盖直线段、曲线段、平交道口、铁路架桥、隧道和车站站台六大场景，以及积雪、暴雨、晴天、弱光、强光和暴风六种天气条件，包括人员、落石、树枝、家畜和汽车平交道口未按规定入侵5种入侵方式。场景样本总数超30 000张，部分数据样本如图5所示。按照7∶1∶2的比例来划分训练集、验证集和测试集。

3.2　试验环境

所有试验均基于Ubuntu系统的戴尔塔式工作站进行，主要配置包括1个Genuine Intel（R）core（TM）i7-7820CPU@3.60GHZ型号的CPU，2个NVIDIA GTX1080Ti型号的GPU；软件环境为CUDA10.2版本、Pytorch1.12.1版本、Python3.8版本和mmav2.0.0版本。为保证试验对比的准确性，在模型训练时目标检测模型部分均采用RailDATA数据集内的高分辨率图像，测试时均采用640\times640分辨率大小的图像。并设置学习率为0.01，轮次为200轮，批次为16次，测试时置信度阈值设计为0.55，除此之外其余超参数均保持一致。

3.3　评价指标

在试验指标设定时，RailVSR并不是为了重构与高分辨率图像相似的图像，而是作为目标检测预处理模块，旨在提升目标检测网络精度，从而更好地服务于铁路远小目标检测。因此，采用查准率P，查全率R，平均精度P_{\mathrm{A}}，平均精度均值m_{\mathrm{A}\mathrm{P}@\mathrm{0.5}}和m_{\mathrm{A}\mathrm{P}@\mathrm{0.5}:\mathrm{0.95}}以及交并比A_{\mathrm{I}\mathrm{O}\mathrm{U}}作为评价指标来描述模型性能，并用峰值信噪比{\rho }_{\mathrm{P}\mathrm{S}\mathrm{N}\mathrm{R}}和结构相似性指标{\theta }_{\mathrm{S}\mathrm{S}\mathrm{I}\mathrm{M}}衡量图像质量以辅助分析验证。

P是用来衡量正确入侵异物占全部异物比例的指标，其表达式为

P=\frac{T_{\mathrm{P}}}{(T_{\mathrm{P}}+F_{\mathrm{P}})}（13）

式中：T_{\mathrm{P}}为正确分类的铁路入侵异物数量；F_{\mathrm{P}}为预测错误的铁路入侵异物数量。

R为在所有正确入侵异物中被模型正确预测的样本比例，其计算式为

R=\frac{T_{\mathrm{P}}}{(T_{\mathrm{P}}+F_{\mathrm{N}})}（14）

式中：F_{\mathrm{N}}为正确样本被预测错误的铁路入侵异物数量。

P_{\mathrm{A}}为目标检测器在各个回归情况下的平均值，对应PR曲线下的面积，其表达式为

P_{\mathrm{A}}={\int }_{\mathrm{0}}^{\mathrm{1}}P(R)\mathrm{d}R（15）

A_{\mathrm{I}\mathrm{O}\mathrm{U}}为“远小目标预测边框”和“远小目标真实边框”的交集、并集的比值，其表达式为

A_{\mathrm{I}\mathrm{O}\mathrm{U}}=\frac{A_{\mathrm{O}}}{A_{\mathrm{U}}}（16）

式中：A_{\mathrm{O}}为远小目标预测边框与其真实边框的相交面积；A_{\mathrm{U}}为远小目标预测边框与其真实边框的合并面积。

在P_{\mathrm{A}}值基础上对所有类别的P_{\mathrm{A}}值取平均得到平均检测精度m_{\mathrm{A}\mathrm{P}}值，其计算式为

m_{\mathrm{A}\mathrm{P}}=\frac{\mathrm{1}}{N_{\mathrm{n}}}\sum _{c\in C}{P}_{\mathrm{A},c}（17）

式中：N_{\mathrm{n}}为样本中所有的类别数量；C为类别集合；c为集合C的索引；P_{\mathrm{A},c}为该类别的平均精度。

m_{\mathrm{A}\mathrm{P}@\mathrm{0.5}}为A_{\mathrm{I}\mathrm{O}\mathrm{U}}阈值取0.5时的平均精度均值，该指标能够初步评估模型在数据集中目标定位的性能，因此可以作为一个综合评价指标。m_{\mathrm{A}\mathrm{P}@\mathrm{0.5}:\mathrm{0.95}}为A_{\mathrm{I}\mathrm{O}\mathrm{U}}阈值从0.5到0.95区间以0.05为步长递进计算得到的平均精度均值，该指标的计算方法提高了评估的稳定性，对于远距离小目标的检测准确率提供了更为稳定和精确的衡量，特别适合于评估复杂场景下模型的适用性。

{\rho }_{\mathrm{P}\mathrm{S}\mathrm{N}\mathrm{R}}是用来衡量两幅图像相似度的指标，其表达式为

{\rho }_{\mathrm{P}\mathrm{S}\mathrm{N}\mathrm{R}}=\mathrm{10}\mathrm{l}\mathrm{g}\left(\frac{L^{\mathrm{2}}}{{\sigma }_{\mathrm{M}\mathrm{S}\mathrm{E}}}\right)（18）

其中，

{\sigma }_{\mathrm{M}\mathrm{S}\mathrm{E}}=\frac{\mathrm{1}}{N_{\mathrm{P}}}{\displaystyle \sum _i^{N_{\mathrm{P}}}}(u_i-v_i{)}^{\mathrm{2}}

式中：L为像素值范围；{\sigma }_{\mathrm{M}\mathrm{S}\mathrm{E}}为均方误差；u_i和v_i为2幅图像对应的像素点值；N_{\mathrm{P}}为全部像素点个数。

{\theta }_{\mathrm{S}\mathrm{S}\mathrm{I}\mathrm{M}}是用来描述两幅图像结构相似性的指标，其计算式为

{\theta }_{\mathrm{S}\mathrm{S}\mathrm{I}\mathrm{M}}=\frac{(\mathrm{2}{\mu }_x{\mu }_y+\mathrm{c})(\mathrm{2}{\sigma }_{xy}+\mathrm{c})}{({\mu }_x^{\mathrm{2}}+{\mu }_y^{\mathrm{2}}+\mathrm{c})({\sigma }_x^{\mathrm{2}}+{\sigma }_y^{\mathrm{2}}+\mathrm{c})}（19）

式中：{\mu }_x和{\mu }_y分别为对应图像像素均值，{\sigma }_x和{\sigma }_y分别为对应图像像素值的方差；{\sigma }_{xy}为两幅图像对应像素值的协方差；\mathrm{c}为常数，\mathrm{c}={(\mathrm{0.03}L)}^{\mathrm{2}}。

4 试验结果及分析

4.1　超分辨率重建对比试验

为验证模型有效性，在RailDATA数据集上将RailVSR与BasicVSR^［24-25］，TDVR，RealBasicVSR^［26］和BasicVSR++^［27］等模型进行2倍和4倍的对比，结果见表1。

由表1可以看出，RailVSR网络在某些指标上与其他超分辨重建网络模型相比存在差异，特别是在{\rho }_{\mathrm{P}\mathrm{S}\mathrm{N}\mathrm{R}}方面，其表现略逊于改进前的BasicVSR基准模型。分析其原因在于RailVSR网络在未引入联合损失函数时，主要依据输入的高分辨率图像作为单一优化准则。然而，当引入联合损失函数后，模型的学习目标从单一的高分辨率图像质量转变为同时考虑高分辨率图像质量和目标检测精度，这种转变可能导致重建图像在质量上的下降，从而与高分辨率图像产生差异。尽管如此，这种调整使得RailVSR网络在目标检测精度方面表现出色，这在铁路远小目标检测等复杂场景下尤为重要。因此，尽管在{\rho }_{\mathrm{P}\mathrm{S}\mathrm{N}\mathrm{R}}和{\theta }_{\mathrm{S}\mathrm{S}\mathrm{I}\mathrm{M}}指标上有所降低，RailVSR网络在综合考量目标检测性能时仍显示出其独特的优势和适用性。

为更直观地展现网络的性能优势，将RealBsicVSR与RailVSR网络进行对比，结果如图6所示。由图6可知：2个网络均展现出较为优异的性能，能够显著提升图像的清晰度，从而大幅改善图像质量；对于近距离区域的2倍重建效果，2个网络均能展现出良好的重建稳定性，这对于铁路周界入侵检测具有重要的实际意义。在铁路远距离监控场景中，图像噪声多且目标特征信息不足，RailVSR网络强化了远小目标的特征与背景区分，使得草丛与人的界限更清晰。尽管可能导致高分辨率图像评价指标不如其他模型，这反而证明RailVSR网络的有效性，能够增强特征表示，为后续目标检测提供精确信息。

4.2　超分辨重建消融试验

基于上述分析，进一步对模型进行消融试验，结果见表2。表中“√”表示在BasicVSR基础上使用了该模块，为充分证明各模块在模型中的作用，采用2倍与4倍超分情况分别进行试验。

由表2可知：3个模块均未添加时模型整体表现较差，{\rho }_{\mathrm{P}\mathrm{S}\mathrm{N}\mathrm{R}}和{\theta }_{\mathrm{S}\mathrm{S}\mathrm{I}\mathrm{M}}的值较低。在仅加入FIE模块后，2倍和4倍超分下{\rho }_{\mathrm{P}\mathrm{S}\mathrm{N}\mathrm{R}}值分别上升1.43%和4.01%；同时引入FIE和GLPLS模块后，2倍和4倍超分下{\rho }_{\mathrm{P}\mathrm{S}\mathrm{N}\mathrm{R}}值分别上升3.59%和4.87%，且{\theta }_{\mathrm{S}\mathrm{S}\mathrm{I}\mathrm{M}}值均有较大提升；在进一步添加联合损失函数之后，尽管模型性能均出现明显下降，{\rho }_{\mathrm{P}\mathrm{S}\mathrm{N}\mathrm{R}}值和{\theta }_{\mathrm{S}\mathrm{S}\mathrm{I}\mathrm{M}}值均低于基础模型BasicVSR，但添加联合损失函数是为了更好地适应目标检测任务，从而在实际应用中提供更准确的特征信息，模型在目标检测性能上的优势使其仍然是一个十分有效的方案。

4.3　目标检测结果

为了进一步提升检测效果，将RailVSR网络与RT-DETR目标检测网络相结合，进行铁路入侵目标检测。与YOLO系列检测算法相比，RT-DETR展现出更高的检测精度和速度，更适合铁路现场的实际应用。在试验过程中，利用RT-DETR网络对低分辨率视频帧图像进行检测，并以此作为参照。基于RailData数据集进行4项分类对比，结果见表3。

由表3可知：直接使用铁路原始监控低分辨率图像进行检测时，RT-DETR+RailVSR模型查准率为86.2%，相较于RT-DETR，RT-DETR+RealBasicVSR和RT-DETR+BasicVSR模型，其查准率分别提升12.9%，3.1%和4.7%；其m_{\mathrm{A}\mathrm{P}@\mathrm{0.5}}值和m_{\mathrm{A}\mathrm{P}@\mathrm{0.5}:\mathrm{0.95}}值相较于RT-DETR模型分别提升11%和11.2%。证明在数据集中，最小目标像素占比仅0.05%时，检测精度仍保持在85%以上，显示出模型的准确性和可靠性。

模型在各类别目标下的检测精度见表4。由表4可知：在铁路监控视频表现为远小目标的鸟、猫、狗和人等类别中，RailVSR+RT-DETR在查全率和平均精度均值等关键性能指标上均展现出最佳效果。说明该模型在铁路远小目标检测方面可实现显著的性能提升和改善，从而验证了该模型所建立的目标检测任务驱动型超分辨率网络的有效性和实用性。RailVSR+RT-DETR与原始RT-DETR模型的检测结果如图7所示。

由图7可知：RT-DETR模型在远距离小目标检测中存在一定的漏检，尤其是在远距离区域和遮挡区域，这些区域在图像上表现为特征信息不足，导致模型难以准确识别。然而，RailVSR+RT-DETR可有效降低远距离小目标的漏检率，即使对于重叠的远小目标也能进行准确检测。这归功于RailVSR模型对铁路监控视频中远小目标的特征边缘和纹理信息的恢复与补充，使得后续组合模型能够学习到更丰富的信息，从而实现更精确的检测。

由于训练集和验证集的监控环境相似，导致数据相似性较高，无法充分展现模型的优势。在实际应用中，由于环境存在多样性，模型需要具备泛化能力。因此，在RailDATA数据集试验基础上进一步扩展，将RailVSR+RT-DETR应用于其他铁路监控场景的测试中，且使用的监控摄像机也有所区别。结果如图8所示。

图中：场景一为铁路普通枪机搭配算法后的测试效果；场景二为全景高点摄像机搭配算法后的测试效果；原图1和2为每一场景下的连续视频帧。由图8可知：对于远处的自行车和行人，由于其常位于监控的阴影区域，纹理特征不明显，BasicVSR+RT-DETR模型在处理这类特征不足的目标时容易出现漏检，其原因在于特征对齐过程中未能充分考虑铁路远距离小目标特征信息不足的实际痛点；而RailVSR+RT-DETR模型对检测器提升效果较为明显，尤其是在减少铁路远小目标的重叠和锯齿模糊问题导致的漏检率方面效果明显。

5 结论

（1）本研究提出1种内嵌式超分辨重建网络RailVSR，与RT-DETR目标检测模型协同工作，以提高铁路远小目标的检测性能。在RailVSR模型中基于空间和通道注意力机制设计FIE特征交互增强模块，通过融合优化，根据前后帧信息的差异性和相关性计算特征图，并进一步强化特征表示。接着引入GLPLS特征分离模块，在既有FEU模块基础上嵌入LPLS卷积核，比原有模块更加突出边缘信息的强化作用。最后通过联合损失函数，增强视频超分辨率重建网络对目标检测网络的适应性。

（2）采用VSTR数据集对RailVSR+RT-DETR模型进行验证。该模型对铁路周界入侵的检测精度至少提高了13%，其平均检测精度提高了至少11%；在VSTR构建的铁路监控数据集中，当目标像素占比超过0.05%时，检测漏报率和错报率均为0，且平均检测精度超过85%，显著优于现有的其他模型。在实际现场视频测试中，无论是长通道低点位监控摄像机还是全景高点位全覆盖摄像机，该算法均显著提高了远小目标的检测性能，尤其是在模糊和遮挡条件下的远小目标检测，可有效解决铁路远小目标检测中的高漏报和高误报问题。

参考文献

[1] 董宏辉，葛大伟，秦勇，等. 基于智能视频分析的铁路入侵检测技术研究［J］. 中国铁道科学，2010，31（2）：121-125.

[2] DONG Honghui， GE Dawei， QIN Yong， et al. Research on Railway Invasion Detection Technology Based on Intelligent Video Analysis ［J］. China Railway Science， 2010， 31 （2）： 121-125. in Chinese

[3] 管岭，贾利民，谢征宇. 融合注意力机制的轨道入侵异物检测轻量级模型研究［J］. 铁道学报，2023，45（5）：72-81.

[4] GUAN Ling， JIA Limin， XIE Zhengyu. Research on Lightweight Model for Railway Intrusion Detection Integrating Attention Mechanism ［J］. Journal of the China Railway Society， 2023， 45 （5）： 72-81. in Chinese

[5] HARIS M， SHAKHNAROVICH G， UKITA N. Task-Driven Super Resolution： Object Detection in Low-Resolution Images ［C］// Neural Information Processing. Cham： Springer International Publishing， 2021： 387-395.

[6] JIN Y， ZHANG Y， CEN Y G， et al. Pedestrian Detection with Super-Resolution Reconstruction for Low-Quality Image ［J］. Pattern Recognition， 2021， 115： 107846.

[7] 朱力强，许力之，赵文钰，等. 铁路周界入侵目标多尺度特征感知算法［J］. 中国铁道科学，2024，45（1）：215-226.

[8] ZHU Liqiang， XU Lizhi， ZHAO Wenyu， et al. Multi-Scale Feature Perception Algorithm for Railway Perimeter Intrusion Object ［J］. China Railway Science， 2024， 45 （1）： 215-226. in Chinese

[9] 王瑞峰，陈小屹. 基于改进YOLOv5的轨道异物入侵检测算法研究［J］. 云南大学学报（自然科学版）， 2023， 45（4）：799-806.

[10] WANG Ruifeng， CHEN Xiaoyi. Research on Orbital Foreign Object Intrusion Detection Algorithm Based on Improved YOLOv5 ［J］. Journal of Yunnan University （Natural Sciences Edition）， 2023， 45 （4）： 799-806. in Chinese

[11] 胡昊，史天运，杨文. 基于改进FairMOT的铁路周界入侵检测方法［J］. 中国铁道科学，2023，44（5）：222-232.

[12] HU Hao， SHI Tianyun， YANG Wen. Railway Perimeter Intrusion Detection Method Based on Improved FairMOT ［J］. China Railway Science， 2023， 44 （5）： 222-232. in Chinese

[13] 蔡鑫楠，丁学文，张子怡，等. 基于YOLOv5的铁轨异物入侵检测［J］. 智能计算机与应用，2022，12（11）：161-167.

[14] CAI Xinnan， DING Xuewen， ZHANG Ziyi， et al. Intrusion Detection of Rail Foreign Objects Based on YOLOv5 ［J］. Intelligent Computer and Applications， 2022， 12 （11）： 161-167. in Chinese

[15] 张剑，王等准，莫光健，等. 基于改进YOLOv3的高铁异物入侵检测算法［J］. 计算机技术与发展，2022，32（2）：69-74.

[16] ZHANG Jian， WANG Dengzhun， MO Guangjian， et al. High-Speed Rail Foreign Body Intrusion Detection Algorithm Based on Improved YOLOv3 ［J］. Computer Technology and Development， 2022， 32 （2）： 69-74. in Chinese

[17] 徐鑫，潘杰，曹利安，等. 基于深度学习的铁路异物侵限检测模型［J］. 铁路计算机应用，2023，32（10）：7-12.

[18] XU Xin， PAN Jie， CAO Li’an， et al. Railway Foreign Object Intrusion Detection Model Based on Deep Learning ［J］. Railway Computer Application， 2023， 32 （10）： 7-12. in Chinese

[19] LIU X B， CHEN S Q， SONG L P， et al. Self-Attention Negative Feedback Network for Real-Time Image Super-Resolution ［J］. Journal of King Saud University - Computer and Information Sciences， 2022， 34 （8）： 6179-6186.

[20] ZAMIR S W， ARORA A， KHAN S， et al. Restormer： Efficient Transformer for High-Resolution Image Restoration ［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans， LA， USA. New York： IEEE Press， 2022： 5718-5729.

[21] ZHAO X T， LI W， ZHANG Y F， et al. Residual Super-Resolution Single Shot Network for Low-Resolution Object Detection ［J］. IEEE Access， 2018， 6： 47780-47793.

[22] GUO J， LAI S C， TU Q H， et al. Ultra-High Resolution SVBRDF Recovery from a Single Image ［J］. ACM Transactions on Graphics， 2023， 42 （3）： 1-14.

[23] ZHOU L G， CHEN G， FENG M Y， et al. Improving Low-Resolution Image Classification by Super-Resolution with Enhancing High-Frequency Content ［C］// 2020 25th International Conference on Pattern Recognition （ICPR）. Milan， Italy. New York： IEEE Press， 2021： 1972-1978.

[24] 刘义健. 基于图像超分辨率重建算法的轨道异物入侵检测方法［D］. 兰州：兰州交通大学，2021.

[25] LIU Yijian. Research on Orbital Foreign Object Intrusion Detection Based on Image Super-Resolution Reconstruction ［D］. Lanzhou： Lanzhou Jiaotong University， 2021. in Chinese

[26] 赵冰. 基于深度学习的铁路图像智能分析关键技术研究与应用［D］. 北京：中国铁道科学研究院，2020.

[27] ZHAO Bing. Research and Application of Key Technologies of Railway Image intelligent Analysis Based on Deep Learning ［D］. Beijing： China Academy of Railway Sciences， 2020. in Chinese

[28] ZHANG D Y， PU H J， LI F， et al. Few-Shot Object Detection Based on the Transformer and High-Resolution Network ［J］. Computers， Materials & Continua， 2023， 74 （2）： 3439-3454.

[29] ZHANG X W， LIU Q Y， CHANG H L， et al. High-Resolution Network with Transformer Embedding Parallel Detection for Small Object Detection in Optical Remote Sensing Images ［J］. Remote Sensing， 2023， 15 （18）： 4497.

[30] RONNEBERGER O， FISCHER P， BROX T. U-Net： Convolutional Networks for Biomedical Image Segmentation ［C］// Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015. Cham： Springer International Publishing， 2015： 234-241.

[31] WOO S， PARK J， LEE J Y，et al. CBAM： Convolutional Block Attention Module ［C］// Computer Version-ECCV 2018. Cham： Springer International Publishing， 2018： 3-19.

[32] LI X， JIN X， YU T， et al. Learning Omni-Frequency Region-Adaptive Representations for Real Image Super-Resolution ［EB/OL］. New York： Cornell University， 2020 （2021-01-10） ［2024-06-14］.

[33] 中关村轨道交通视频与安全产业技术联盟. VSTR铁路周界入侵目标样本库［EB/OL］. （2018-11-11）［2024-06-16］

[34] Zhongguancun Rail Transit Video and Security Industry Technology Alliance for Rail Transit. VSTR Railway Perimeter Intrusion Target Sample Database ［EB/OL］. （2018-11-11） ［2024-06-16］ in Chinese

[35] GUO K H， ZHANG Z， GUO H F， et al. Video Super-Resolution Based on Inter-Frame Information Utilization for Intelligent Transportation ［J］. IEEE Transactions on Intelligent Transportation Systems， 2023， 24 （11）： 13409-13421.

[36] CHAN K C K， WANG X T， YU K， et al. BasicVSR： the Search for Essential Components in Video Super-Resolution and beyond ［C］// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville， TN， USA. New York： IEEE Press， 2021： 4945-4954.

[37] CHAN K C K， ZHOU S C， XU X Y， et al. Investigating Tradeoffs in Real-World Video Super-Resolution ［C］// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans， LA， USA. New York： IEEE Press， 2022： 5952-5961.

[38] CHAN K C K， ZHOU S C， XU X Y， et al. BasicVSR++‍： Improving Video Super-Resolution with Enhanced Propagation and Alignment ［C］// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans， LA， USA. New York： IEEE Press， 2022： 5962-5971.

基金资助

中央高校基本科研业务费专项资金资助项目(2024JBZY023)