铁路周界入侵目标多尺度特征感知算法

Multi-Scale Feature Perception Algorithm for Railway Perimeter Intrusion Object

摘要

准确识别侵入周界范围内的人和大型牲畜是铁路周界入侵视频智能分析技术的重点内容，对保障铁路安全运营具有重要意义。基于现有目标检测算法难以处理铁路监控场景中入侵目标呈现显著尺度变化的状况，提出一种多输入双输出神经网络（Multiple Input Double Output Network，MIDO-Net）和基于自适应特征加权融合的目标多尺度特征感知算法。首先，通过MIDO-Net多层级联的多输入和双输出网络结构，提取图像目标更丰富的多尺度特征信息；其次，依据骨干网络多阶段的特点，先将多级特征上采样至统一分辨率，再利用注意力模块和自适应参数对多级特征进行加权；然后，将特征输入到检测头中完成铁路周界入侵的识别；最后，通过视觉目标类别（Visual Object Classes，VOC）公共数据集和制作的多场景、多尺度铁路异物侵限数据集，对算法进行验证。结果表明：提出的多尺度特征感知算法在VOC公共数据集中的检测精确率达83.3%，在多场景、多尺度铁路异物侵限数据集中的检测精确率达91.1%，平均召回率达56.2%，均优于当前广泛使用的各种特征提取骨干网络；算法检测速率为45帧 · s^-1，优于同类型的骨干网络，且能满足铁路场景的行人实时监测需求。

Abstract

Accurately identifying human and large livestock intruding within the perimeter is a key focus of intelligent video analysis technology for railway perimeter intrusion. It is of great significance for ensuring railway safety operations. However, existing object detection algorithms struggle to handle significant scale variations of intrusion objects in railway monitoring scenarios. Therefore, a Multiple Input Double Output Network (MIDO-Net) and a multi-scale feature perception algorithm based on adaptive weighted fusion are proposed. Firstly, the MIDO-Net extracts richer multi-scale feature information of image objects through its multi-level cascaded multiple input and double output network structure. Secondly, based on the multi-stage characteristics of the backbone network, the multi-level features are sampled up to unified resolution and then weighted using attention modules and adaptive parameters. Then, the features are input into the detection head to complete the recognition of railway perimeter intrusion. Finally, the algorithm is validated using the Visual Object Classes (VOC) public dataset and a self-made dataset of railway foreign object intrusion in multiple scenes and scales. The results show that the proposed multi-scale feature perception algorithm achieves a detection accuracy of 83.3% in the VOC public dataset and 91.1% in the dataset of railway foreign object intrusion in multiple scenes and scales. The average recall rate is 56.2%, which is superior to various widely used feature extraction backbone networks. The algorithm detection rate is 45 frames per second (fps), surpassing similar backbone networks, and can meet the requirements for pedestrian real-time monitoring in railway scenarios.

Graphical abstract

关键词

铁路周界入侵检测 / 目标检测算法 / 特征提取网络 / 多尺度特征感知 / 神经网络

Key words

Railway perimeter intrusion detection / Object detection algorithm / Feature extraction network / Multi-scale feature perception / Neural network

近年来，随着铁路的飞速发展，列车的运营里程不断增加。由于周界防护设施有限等原因，铁路周边的大块碎石、行人、野生动物等会进入铁路限界内，引发铁路异物侵限事件，进而影响行车安全，故对铁路周界入侵物体进行及时而精准的检测是保障列车正常运行的重要任务。

传统的震动光纤^［1］、超声波雷达^［2］等周界入侵检测方法仅适用于铁路道口等特殊场景，具有局限性。基于视频的监控技术具有安装简单、信息丰富、效果直观等优势，更适合用于多种铁路场景的周界入侵检测。为了使摄像头具有较大的监控覆盖范围，往往将摄像头架设在较高的地理位置，这就导致入侵异物在视频中呈现的尺度可能会很小。同时入侵异物与摄像头的空间位置关系不能确定，入侵异物在视频中的尺度变化范围非常大。入侵目标的小尺度、多尺度的特性导致当前识别算法直接应用在周界入侵检测上存在不足。

传统的视频图像周界入侵检测技术如仿射几何^［3］、高斯混合模型^［4］、背景差分^［5］、主成分分析^［6］和卡尔曼滤波^［7］等受环境和尺度影响较大，精确度较低。近年来，随着深度神经网络的快速发展，基于深度神经网络的目标检测算法检测精度不断提升，利用目标检测算法对铁路周界入侵进行检测逐渐成为研究的主要方向。

目标检测二阶段算法基于区域的卷积神经网络（Region-based Convolutional Neural Network，RCNN）系列^［8-10］和一阶段检测算法（You Only Look Once，YOLO）^［11-18］等，均需要骨干网络提取目标的特征，再设计检测器预测目标的位置与类别，所以特征提取的好坏直接影响检测精度。为提升多尺度目标特征提取能力，不少学者基于VGGNet^［19］和残差卷积神经网络（Residual Network，ResNet）^［20］等骨干网络^［21-22］，结合注意力机制、扩张卷积和特征金字塔等^［23-28］方法，提高了不同尺度特征提取能力。基于以上骨干网络的目标检测算法在铁路周界入侵检测领域也已得到广泛的应用^［29-31］。但是VGG和ResNet等骨干网络设计时考虑的场景图像均为较低分辨率和目标尺度较大的情况，该类网络直接应用在铁路监控场景会出现小目标特征提取不足，导致识别精度下降的情况。如常见生活数据集中，图像分辨率为（640×481）像素，目标占图像大部分区域，而铁路场景中，采集的典型图像分辨率为（1 920×1 080）像素，但行人所占图像区域的比例非常小。

为对铁路多尺度异物入侵检测问题进一步研究，参考公共数据集环境中的常见对象（Common Objects in Context，COCO）定义不同尺度目标的方法，以目标高、宽所占原图像的百分比定义铁路场景中的大中小目标，详见表1。

依据这个标准，对比本文采集的真实铁路场景数据与开源数据集（COCO和VOC）中不同尺寸目标占比情况：铁路场景小目标占比57.44%，中目标占比30.24%，大目标占比10.23%；COCO小目标占比35.28%，中目标占比33.03%，大目标占比30.46%；VOC小目标占比7.28%，中目标占比36.73%，大目标占比59.31%。综上可知，铁路场景中入侵目标90%以上均为中、小目标，该类目标存在像素信息少、特征提取困难导致算法检测精度低的问题。

本文提出一种多输入双输出的特征融合模块，并设计了全新的基于多输入双输出模块的卷积神经网络MIDO-Net。相比其他骨干网络，能够在各个尺度特征图上不断地重复特征提取和融合过程，保障小尺度特征不随网络前向传播而丢失。本文的主要创新点如下。

（1）设计了一种多输入双输出模块（Multiple Input Double Output，MIDO）。该模块能对多个输入特征进行融合然后输出2种特征，内部设置有自学习加权融合系数，使得MIDO模块可处理更加丰富的特征信息。

（2）基于MIDO模块设计了全新的骨干网络MIDO-Net。该网络共包含4个阶段，每个阶段均输出1组特征图。设计了通道加权和特征加权对输出的4组特征进行相同尺度间和不同尺度间的相互融合，实现了更为丰富的多尺度周界入侵目标的特征提取。

1 基于MIDO-Net的目标检测网络

铁路监控场景中存在着大量的中小目标，传统的骨干网络对中小目标提取的特征会随着卷积层数的增加而减弱，导致出现周界入侵漏检的现象。针对当前算法多尺度特征提取困难的问题，设计了一种多输入双输出的特征融合模块MIDO。该模块可以在骨干网络由浅到深的特征提取过程中，一直保留并选择性地融合不同层级的特征，该方式使得中小目标的特征随着模型深度增加的同时获得增强，有效地提升了目标检测算法对中小目标的检测能力。

1.1　特征融合模块MIDO

传统的卷积模块大多为单输入单输出的结构，MobileNetV2结构如图1所示。图中：⊕表示2个同型矩阵按元素相加处理。由图1可以看出：该模块同时结合（1×1）像素的逐点卷积、（3×3）像素的深度可分离卷积和残差结构，实现输入特征的快速提取；通过整流线性单元提升网络的非线性。

单输入单输出的模型结构使特征信息随着模型层数变深和特征图分辨率变小而逐渐变弱甚至消失，也是导致小目标检测困难的原因。铁路场景中的周界入侵物体以中小目标为主，为避免中小目标特征随卷积层的增加而消失，设计全新的多尺度特征融合模块，称之为MIDO模块，结构如图2所示。图中：⊗为克罗内克积，即将前1个矩阵的每个元素乘以后1个完整的矩阵；n为输入的特征个数；X_n为MIDO模块的输入，X_n=\{x_i\},i=\mathrm{0,1},\dots ,n，其中x_{\mathrm{0}}为当前所在尺度输入的特征,x_{\mathrm{1}}，x_{\mathrm{2}}，\dots ,x_n为其他尺度的输入；P_n为输入X_n相对应的权值，P_n=\{p_i\}；o_{\mathrm{1}},o_{\mathrm{2}}为MIDO模块的2种不同输出。由图2可以看出：MIDO模块不同于传统的单输入单输出模块，可以实现基于加权的多输入双输出模式。

MIDO模块的计算式为

\left\{\begin{array}{c}{p}_i=\frac{{\mathrm{e}}^{p_i}}{{\displaystyle \sum _{j=\mathrm{0}}^n}{\mathrm{e}}^{p_j}}\\ o_{\mathrm{1}}={\displaystyle \sum _{i=\mathrm{0}}^n}{x}_i{p}_i\\ o_{\mathrm{2}}=L_{\mathrm{m}\mathrm{o}\mathrm{b}\mathrm{i}\mathrm{l}\mathrm{e}}(o_{\mathrm{1}})\end{array}\right.（1）

式中：p_j为P_n中的元素，当i=j时p_i=p_j；e为自然常数；L_{\mathrm{m}\mathrm{o}\mathrm{b}\mathrm{i}\mathrm{l}\mathrm{e}}为MobileNetV2模块拟合的多层神经网络函数。

权值P_n初始化后，经过软最大函数（Softmax）归一化后对特征X_n进行加权融合，得到MIDO模块的特征融合输出o_{\mathrm{1}}。特征融合输出o_{\mathrm{1}}一方面作为MIDO模块的特征融合输出，另一方面被送入MobileNetV2模块中，经卷积操作后得到MIDO模块的卷积输出o_{\mathrm{2}}。

1.2　特征提取骨干网络MIDO-Net

为了兼顾模型大小和计算量，设定n=\mathrm{3}，即MIDO模块特征输入为X_{\mathrm{3}}=\{x_{\mathrm{0}},x_{\mathrm{1}},x_{\mathrm{2}},x_{\mathrm{3}}\}。MIDO-Net及其每个阶段的详细结构如图3所示。由图3可以看出：MIDO-Net共包含4个阶段，除第1个阶段仅输入图像外，其他每个阶段获取其前一个阶段的4个特征输出Y_{\mathrm{3}}=\{y_{\mathrm{0}},y_{\mathrm{1}},y_{\mathrm{2}},y_{\mathrm{3}}\}；每个阶段将特征的分辨率降低2倍；每个阶段包含6个由MIDO模块组成的结构；以输入图像分辨率取（256×256）像素为例，阶段1输出的分辨率均为（128×128）像素，依次类推，阶段4输出的特征分辨率为（16×16）像素，即MIDO-Net共降低输入分辨率16倍；MIDO-Net在每个阶段均能获得4种尺度的输入特征，如阶段1的输出Y_{\mathrm{3}}=\{y_i\}为\mathrm{阶段}\mathrm{2}的输入X_{\mathrm{3}}；考虑到模型参数量，在每个阶段设置6个MIDO模块；前3个MIDO对输入特征X_{\mathrm{3}}计算后输出给\mathrm{后}\mathrm{3}\mathrm{个}\mathrm{M}\mathrm{I}\mathrm{D}\mathrm{O}\mathrm{模块}，最终下采样2倍（由卷积核大小为（3×3）像素，步长为2的卷积计算得到）后输出Y_{\mathrm{3}}。

1.3　多尺度特征加权融合检测模块

常规目标检测网络采用的特征金字塔网络（Feature Pyramid Networks，FPN）结构，对不同尺度目标的注意力均等。当检测图像内的中小目标时，小分辨率特征图包含的信息较少，应该更多地关注大分辨率的特征图才能实现更高的检测精度。因此，基于注意力机制设计的加权融合模块具体结构如图4所示。图中：W_{\mathrm{4}}=\{w_{\mathrm{0}},w_{\mathrm{1}},w_{\mathrm{2}},w_{\mathrm{3}}\}为可学习的参数。由图4可以看出：骨干网络MIDO-Net的4个阶段输出的特征，首先将其上采样至同一个尺度；然后进行通道加权和特征加权实现多尺度特征融合；最终输入到检测头中进行目标预测。

考虑到铁路行人检测中对检测速度的要求，通过将不同尺度的目标信息融合到同一个尺度的特征图上，有利于增强骨干网络对单一尺度特征图的多尺度目标提取能力，该方式相比于FPN结构能减小检测头的计算量。

1）通道加权

对每个阶段输出特征内的差异，使用压缩和扩张注意力机制对特征的每个通道进行加权处理，该注意力机制首先通过全局平均池化将全局信息转化为1个所有通道的描述符g_c，g_c 为0~1范围内的实数，表达式为

g_c=\frac{\mathrm{1}}{hw}{\displaystyle \sum _{m=\mathrm{1}}^h}{\displaystyle \sum _{n=\mathrm{1}}^w}{M}_c(m,n)（2）

式中：M_c(m,n)为输入特征M在通道c中坐标(m,n)处的值；h和w分别为特征M的高和宽。

通道标识符经过2层全连接后，得到每个通道的加权值，即

C_{\mathrm{o}\mathrm{u}\mathrm{t}}=\sigma \left(L\left(\delta \left(L\left(g_{\mathrm{c}}\right)\right)\right)\right)（3）

式中：C_{\mathrm{o}\mathrm{u}\mathrm{t}}为每个通道的加权值；σ为Sigmoid激活函数；L为全连接层函数；\delta为整流线性单元激活函数。

得到每层的权重后，将其与输入的特征相乘，得到加权后的特征\tilde{M}。

\tilde{M}=C_{\mathrm{o}\mathrm{u}\mathrm{t}}M（4）

压缩和扩张注意力机制通过全局平均池化和2次全连接层函数操作，为每1个通道设置1个通道标识符，用以衡量同一尺度不同通道之间的重要性。

2）特征加权

对4个阶段输出特征之间的差异，通过W_{\mathrm{4}}进行自适应加权融合。在初始化时，统一设置W_{\mathrm{4}}=0.25，表示不同尺度的特征对于预测具有相同的贡献，此时模型和现有多种目标检测网络采用的FPN技术方法一致。然后权重输入到Softmax函数中，保证权重之和为1。通过通道加权和特征加权融合后，网络在同一尺度特征和不同尺度特征间进行了信息融合，以获取更加精细的图像特征。通过数据集训练后，特征层的重要性会发生变化，模型自主学习出对预测比较重要的特征，实现更加精准的预测。

1.4　基于CenterNet的检测器

MIDO-Net能实现多尺度特征提取，并可方便的可插入当前常用的目标检测网络如RCNN和YOLO等。本文以CenterNet^［32］架构作为目标检测网络的检测头部分，用于实现整个目标检测流程和骨干网络特征提取可视化，该检测头具体结构如图5所示。图中：H为图像的高；W为图像的宽。

由图5可以看出：输入图像首先经MIDO-Net提取的4个不同尺度的特征图上采样至同一个尺寸；然后分别经过3组通道数不同但结构相同的网络层；最终通过阈值保留模型输出中高置信度的特征点，与偏置和物体长宽叠加后，输出特征点的热图、特征点的偏置和与特征点相关的物体长和宽；将特征点的在图像上的坐标作为x轴和y轴的值，热值作为z轴上的值，即实现了热图的三维可视化，当热值越大时，则z轴上的值越大，说明该特征点的置信度越高，特征提取的结果越好。

2 试验过程及结果分析

为了验证MIDO-Net特征提取的有效性，分别在公共数据集VOC和铁路数据集中进行了对比试验，在所有的试验过程中，没有使用数据增强和其他任何技巧。试验平台及环境如下：Intel（R）Core（TM）i9-10940X CPU@3.30GHz，GeForce GTX1080 Ti，Pytorch 0.4.0，CUDA 9.0和CUDNN 7.6.4。

2.1　评价指标

目标检测算法的性能评价指标，评价指标包括速度评价指标和精度评价指标2部分。精度评价指标为检测模型预测结果的精度，该评价基于矩形框，如图6所示。图中：蓝色框为模型预测结果；红色框为人工标注的真实框。

首先基于预测框和真实框的交并比P_{\mathrm{I}\mathrm{o}\mathrm{U}}选取预测框，P_{\mathrm{I}\mathrm{o}\mathrm{U}}计算式为

P_{\mathrm{I}\mathrm{o}\mathrm{U}}=\frac{A\bigcap B}{A\bigcup B}（5）

式中：A和B分别为预测结果和真实值。

本研究中设置P_{\mathrm{I}\mathrm{o}\mathrm{U}}的阈值为0.5。在算法中将P_{\mathrm{I}\mathrm{o}\mathrm{U}}＞0.5的预测框保留，删除其余的预测框。根据保留的预测框，将结果分为真正例T_P、真负例T_N、假正例F_P和假负例F_N，结果见表2。

根据对预测结果的划分，由式（6）可计算出模型算法的精确率I_{\mathrm{p}}，通常将所有类别的精确率计算平均值，得到平均精确率I_{\mathrm{a}\_\mathrm{p}}作为模型预测的精度评价指标。

I_{\mathrm{p}}=\frac{{\mathrm{T}}_{\mathrm{P}}}{{\mathrm{T}}_{\mathrm{P}}+{\mathrm{F}}_{\mathrm{N}}}（6）

在铁路实际场景下，为保证铁路运营安全，在入侵目标的识别中对目标的召回率也提出了很高的要求，参考COCO公共数据集的平均召回率（Average Recall）评价指标R_{\mathrm{100}}。其计算方法为在每个图像上固定检测个数为100计算召回率，并在所有类别和10个不同的P_{\mathrm{I}\mathrm{o}\mathrm{U}}阈值上的结果进行平均。基于表1对不同尺度目标的定义，有小（中、大）目标精确率/（P_{\mathrm{I}\mathrm{o}\mathrm{U}}=0.5∶0.95）：对于检测目标为小（中、大）目标，采用从P_{\mathrm{I}\mathrm{o}\mathrm{U}}阈值0.50开始，以0.05为增加间隔，一直到0.95的10个P_{\mathrm{I}\mathrm{o}\mathrm{U}}阈值，计算以上阈值条件下检测结果的精确率的平均值。同时对于网络检测速度也加以评估，采用F_{\mathrm{F}\mathrm{P}\mathrm{S}}指标，其计算方式为模型每秒钟能处理的图像帧数。

2.2　公共数据集对比试验

研究场景（铁路行人入侵）中目标尺寸比例不均衡，与生活场景（COCO，VOC等数据集）状况存在较大差别。其中VOC数据集与铁路场景数据集的分布差异最大，另一方面在样本规模上两者也相当。因此，在这2个数据集上进行测试，能够以较小计算代价展示算法性能一致性。VOC是图像目标检测领域中常用的数据集之一，共包含人和自行车等日常生活中常见的20类目标物。合并使用VOC在2007年和2012年发布的2个数据集的训练集和验证集作为对比试验的训练集，共包含16 551张图片，使用2007年发布中的测试集作为对比试验的测试集，共包含4 952张图片。设置初始学习率为1.25×10^-4，并在[\mathrm{90,190}]的训练区间逐渐降低学习率，最终的学习率为初始学习率的0.01。

以CenterNet为基准，用本文提出的MIDO-Net替换其骨干网络与其他骨干网络和算法进行对比试验。对比的骨干网络包括VGG16，ResNet101和DLA34等，对比的算法包括Faster-RCNN，YOLO和FCOS算法等。试验结果见表3。由表3可知：本文识别方法比有锚框最优模型RefineDet的检测精度高出1.5%，比无锚框最优模型基于DLA34的CenterNet的检测精度高出2.6%；基于MIDO-Net模型的检测精度优于其他有、无锚框算法；验证了算法在公共数据集上的有效性。

2.3　铁路数据集对比试验

为了进一步证明本文算法在铁路周界入侵检测场景的有效性，构建了铁路数据集进行对比试验。从铁路沿线14个不同场景和时间的视频中获取了19 349帧的行人入侵铁路图像并进行标注。线路中包括但不限于北京环形铁路、宝兰铁路、大秦铁路、杭州铁路等，采集设备包括铁路沿线的球机、枪机等，其中彩色图像为可见光相机在白天采集的数据，当时间到夜晚时，监控相机会自动切换工作模式采集黑白图像。其中包含13 466帧照明条件较好的图像数据和5 883帧照明条件较差的图像数据。不同场景和时间段的行人入侵场景图像如图7和图8所示。

将所有图像按照6∶2∶2的比例划分了铁路数据集，包含11 563帧训练数据，4 179帧验证数据，3 607帧测试数据。训练设置与公共数据集设置相同，同样以CenterNet检测网络为基本架构，设置不同的骨干网络的对比结果见表4。由表4可知：MIDO-Net骨干网络在铁路数据集中同样有最好的表现；在平均检测精度方面，比Hourglass-104和DLA-34高0.7%，比表现最好的HRNet高1.1%；相比于ResNeSt101在小目标精确率提升5.9%，各类目标的精确率和召回率均提升明显；在大、中尺度目标的检测中，本文算法的检测精度位居第一；在平均召回率方面，本文算法仍然具有优势，与DLA-34相同均为56.2%，相比Hourglass-104提升0.7%；在检测速率方面，本文算法F_FPS为45帧 · s^-1，与ResNet101相近，比大型骨干网络Hourglass-104和HRNet快近3倍。

相较于参考的MobileNetV2，改进后的MIDO-Net在各个方面的检测精度均高于最初的骨干网络。根据以上试验结果可知MIDO-Net对铁路数据集中小目标及尺度跨越较大的目标均有着较好的检测能力，一定程度上解决了铁路监控场景中目标尺度跨越较大导致难以检测的问题，验证了模型的有效性。

2.4　特征提取能力对比试验

在设计MIDO模块时，对不同尺度的输入设置了自学习参数P_n，训练前模型初始化时对所有的p值均设置为0.25。在铁路数据集中训练完成后，4个阶段的MIDO模块2_1中权重参数P_n见表5。由表5可知：浅层网络（阶段1）4个权值相差不大，说明此时各个尺度特征均保留较多；深层网络（阶段2—阶段4）中p_{\mathrm{0}}均有增加，且明显高于p_{\mathrm{1}}，p_{\mathrm{2}}和p_{\mathrm{3}}，表示此时小尺度特征逐渐丢失，需要更大的权值使模型关注。

此外，将骨干网络对测试集中图像提取出的特征热图及检测结果由前节所述方法进行可视化，对比不同骨干网络的提取效果，其结果如图9—图12所示。

由图9和图10可以看出：在大、中目标对比中，各类算法均能检测出入侵目标，但是MIDO-Net给出的置信度和特征热图高于其他算法。由图11可以看出：在小目标对比中，DLA-34和Hourglass对左侧行人入侵存在漏检，ResNet和MIDO-Net没有漏检。由图12可以看出：在超小目标对比中，仅MIDO-Net检测出行人入侵行为。因此，在铁路多尺度目标周界入侵检测上，本文提出的MIDO-Net相比其他算法识别精度更高。

以上试验表明，本文所提出的多尺度特征融合算法，可以提取丰富的目标信息，更好地保留铁路异物入侵检测场景中小目标及超小目标的特征信息，明显降低了目标检测算法该场景的漏检，而且对行人入侵的报警有着更高的置信度。

2.5　多尺度特征加权融合对比试验

为验证多尺度加权融合模块的表现效果，与其他主流加权模块进行了对比试验，结果见表6。由表6可知：在单独引入通道加权后，模型的平均精确率提升，说明通道加权强化了有效通道的信息，同时抑制了无效通道的信息。但是通道加权只是在通道级进行了加权融合，无法对更细粒度的小目标特征（特征级）进行加权，导致对铁路场景中的小目标的检测能力下降，同时召回率也小幅度下降；与其他融合方法对比中，路径聚合网络（Path Aggregate Network，PANet）将不同尺度特征直接拼接或者相加的方式让模型参数量增加的同时检测精度降低，空洞空间特征金字塔（Atrous Spatial Pyramid Pooling，ASFF）的自适应空间特征融合方式虽然提升了平均精确率，但是在多P_{\mathrm{I}\mathrm{o}\mathrm{U}}阈值上的多尺度目标检测精度有小幅度下降；本文检测帧率优于PANet和ASFF，且对小目标的精确率提升明显。

模型在单独引入特征加权后，4个阶段的注意力权值从初始值0.25更新为：w₀=0.299 4，w₁=0.198 7，w₂=0.193 7，w₃=0.308 2。从变化后的权值可以看出，小目标的注意力权值提高了0.049 4，加强了算法对于铁路场景中小目标的特征提取能力。基于通道和特征的融合加权算法提升了整体的检测精度，说明相比于常用的FPN模块本文的特征加权算法有明显优势。在同时引入通道加权和特征加权后，本文算法在平均精确率I_{\mathrm{a}\_\mathrm{p}}和平均召回率R_{\mathrm{100}}上均达到了最高，验证了这2种对特征加权方式的有效性。

3 结论

（1）为提升目标检测网络特征提取效果，提出具有多输入和双输出的结构的多尺度特征融合模块MIDO，利用此模块构建的骨干网络MIDO-Net在公共数据集VOC多类别目标检测结果中有83.3%的精确率，在铁路数据集异物入侵检测结果中有91.1%的精确率和56.2%的平均召回率，在同类型骨干网络中达到最优，说明该算法能保证大目标检测精度的前提下，提升小目标的检测能力。

（2）为进一步提升多尺度特征提取能力，在MIDO-Net后加入基于通道和特征的加权融合算法使小目标检测精确率I_{\mathrm{p}}相比PANet提升10.9%，相比ASFF提升7.9%，说明提出的加权融合算法提升了小目标的检测能力。

（3）在真实铁路入侵场景数据中，本文提出的基于MIDO-Net的铁路周界入侵目标多尺度特征感知算法能实现多尺度入侵目标的准确识别，同时检测速率F_{\mathrm{F}\mathrm{P}\mathrm{S}}为45帧 · s^-1，可以保证检测精度的同时具有实时性。

参考文献

[1] 张静.中国铁道科学研究院2015年度科技成果简介（续二）［J］.中国铁道科学，2017，38（3）：24，39，46，76，82，109，123.

[2] ZHANG Jing. Brief Introduction of Scientific and Technological Achievements in China Academy of Railway Sciences in 2015 （Continued 2） ［J］. China Railway Science， 2017， 38 （3）： 24， 39， 46， 76， 82， 109， 123. in Chinese

[3] ALVAREZ F J， UREFIA J， MAZO M， et al. Ultrasonic Sensor System for Detecting Falling Objects on Railways ［C］// IEEE Intelligent Vehicles Symposium. New York： IEEE Press， 2004： 866-871.

[4] 王前选，梁习锋，刘应龙，等.缓变异物入侵铁路线路视觉检测方法［J］.中国铁道科学，2014，35（3）：137-143.

[5] WANG Qianxuan， LIANG Xifeng， LIU Yinglong， et al. Visual Detection Method for the Invasion of Slowly Changing Foreign Matters to Railway Lines ［J］. China Railway Science， 2014， 35 （3）： 137-143. in Chinese

[6] 董宏辉，孙智源，葛大伟，等.基于高斯混合模型的铁路入侵物体目标识别方法［J］.中国铁道科学，2011，32（2）：131-135.

[7] DONG Honghui， SUN Zhiyuan， GE Dawei， et al. Target Recognition Method of Railway Invasion Based on Gaussian Mixture Model ［J］. China Railway Science， 2011， 32 （2）： 131-135. in Chinese

[8] 李荣增.基于视频识别的铁路入侵检测研究与实现［D］.武汉：武汉理工大学，2016：48-53.

[9] LI Rongzeng. Research and Implementation of Railway Intrusion Detection Based on Computer Vision ［D］. Wuhan： Wuhan University of Technology， 2016： 48-53. in Chinese

[10] 屈志坚，周锐霖，孙旭兵，等.尺度自适应的铁路异物侵限PSA-Kcf降维跟踪方法［J］.铁道学报，2019，41（5）：71-81.

[11] QU Zhijian， ZHOU Ruilin， SUN Xubing， et al. Scale Adaptive PSA-Kcf Dimension Reduction Tracking Method for Railway Foreign Body Intrusion ［J］. Journal of the China Railway Society， 2019， 41 （5）： 71-81. in Chinese

[12] 史红梅，柴华，王尧，等.基于目标识别与跟踪的嵌入式铁路异物侵限检测算法研究［J］.铁道学报，2015，37（7）：58-65.

[13] SHI Hongmei， CHAI Hua， WANG Yao， et al. Study on Railway Embedded Detection Algorithm for Railway Intrusion Based on Object Recognition and Tracking ［J］. Journal of the China Railway Society， 2015， 37 （7）： 58-65. in Chinese

[14] GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation ［C］// 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA. New York： IEEE Press， 2014： 580-587.

[15] GIRSHICK R. Fast R-CNN ［C］// 2015 IEEE International Conference on Computer Vision. Santiago， Chile. New York： IEEE Press， 2015： 1440-1448.

[16] REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards Real-Time Object Detection with Region Proposal Networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39 （6）： 1137-1149.

[17] LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single Shot MultiBox Detector ［M］. Computer Vision - ECCV 2016. Cham： Springer， 2016： 21-37.

[18] LAW H， DENG J. CornerNet： Detecting Objects as Paired Keypoints ［M］. Computer Vision - ECCV 2018. Cham： Springer， 2018： 765-781.

[19] ZHOU X， WANG D， KRÄHENBÜHL P. Objects as Points ［EB/OL］. arXiv： 1904.07850， 2019 （2019-4-25） ［2022-10-18］.

[20] REDMON J， DIVVALA S， GIRSHICK R， et al. You Only Look Once： Unified， Real-Time Object Detection ［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas， NV， USA New York： IEEE Press， 2016： 779-788.

[21] REDMON J， FARHADI A. Yolo9000： Better， Faster， Stronger ［C］// 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu， HI， USA. New York： IEEE Press， 2017： 6517-6525.

[22] REDMON J， FARHADI A. Yolov3： An Incremental Improvement ［EB/OL］. arXiv： 1804.02767， 2018 （2018-4-8） ［2022-10-18］.

[23] NEWELL A， HUANG Z A， DENG J. Associative Embedding： End-to-End Learning for Joint Detection and Grouping ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems （NIPS 2017. Long Beach， California， USA. New York： ACM， 2017： 2274-2284.

[24] GE Z， LIU S， WANG F， et al. Yolox： Exceeding Yolo Series in 2021 ［EB/OL］. arXiv： 2107.08430， 2021 （2021-8-6） ［2022-10-18］.

[25] SIMONYAN K， ZISSERMAN A. Very Deep Convolutional Networks for Large-Scale Image Recognition ［EB/OL］. arXiv： 1409.1556， 2014 （2015-4-10） ［2022-10-18］.

[26] HE K M， ZHANG X Y， REN S Q， et al. Deep Residual Learning for Image Recognition ［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas， NV， USA. New York： IEEE Press， 2016： 770-778.

[27] HUANG G， LIU Z， MAATEN L V D， et al. Densely Connected Convolutional Networks ［C］// 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu， HI， USA. New York： IEEE Press， 2017： 4700-4708.

[28] SUN K， XIAO B， LIU D， et al. Deep High-Resolution Representation Learning for Human Pose Estimation ［C］// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach， CA， USA. New York： IEEE Press， 2019： 5693-5703.

[29] JIN Y M， FU Y S， WANG W Q， et al. Multi-Feature Fusion and Enhancement Single Shot Detector for Traffic Sign Recognition ［J］. IEEE Access， 2020， 8： 38931-38940.

[30] HAN C Y， ZHU J L， LI F， et al. Design of Lightweight Pedestrian Detection Network in Railway Scenes ［C］// 2020 5th International Conference on Intelligent Computing and Signal Processing （ICSP）. Bristol： IOP Publishing， 2020： 12053-12061.

[31] CUI L S， LÜ P， JIANG X H， et al. Context-Aware Block Net for Small Object Detection ［J］. IEEE Transactions on Cybernetics， 2022， 52 （4）： 2300-2313.

[32] QIU Y， LIU Y， YANG H， et al. A Simple Saliency Detection Approach via Automatic Top-Down Feature Fusion ［J］. Neurocomputing， 2020， 388： 124-134.

[33] LI Y Y， HUANG Q， PEI X， et al. Cross-Layer Attention Network for Small Object Detection in Remote Sensing Imagery ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2021， 14： 2148-2161.

[34] WU Q F， FENG D Q， CAO C Q， et al. Improved Mask R-CNN for Aircraft Detection in Remote Sensing Images ［J］. Sensors， 2021， 21 （8）： 2618-2630.

[35] GUO B Q， SHI J F， ZHU L Q， et al. High-Speed Railway Clearance Intrusion Detection with Improved SSD Network ［J］. Applied Sciences， 2019， 9 （15）： 2981-2990.

[36] YE T， WANG B C， SONG P， et al. Automatic Railway Traffic Object Detection System Using Feature Fusion Refine Neural Network under Shunting Mode ［J］. Sensors， 2018， 18 （6）： 1916-1934.

[37] YE T， ZHANG X， ZHANG Y， et al. Railway Traffic Object Detection Using Differential Feature Fusion Convolution Neural Network ［J］. IEEE Transactions on Intelligent Transportation Systems， 2021， 22 （3）： 1375-1387.

[38] DUAN K W， BAI S， XIE L X， et al. CenterNet： Keypoint Triplets for Object Detection ［C］// 2019 IEEE/CVF International Conference on Computer Vision. Seoul， Korea （South）. New York： IEEE Press， 2019： 6569-6578.

[39] DAI J F， LI Y， HE K M， et al. R-FCN： Object Detection via Region-Based Fully Convolutional Networks ［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems （NIPS 2016）. Barcelona， Spain. New York： ACM， 2016： 379-387.

[40] FU C Y， LIU W， RANGA A， et al. DSSD： Deconvolutional Single Shot Detector ［EB/OL］. arXiv： 1701.06659， 2017 （2017-1-23） ［2022-10-18］.

[41] ZHANG S F， WEN L Y， LEI Z， et al. RefineDet++： Single-Shot Refinement Neural Network for Object Detection ［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2021， 31 （2）： 674-687.

[42] TIAN Z， SHEN C， CHEN H， et al. FCOS： Fully Convolutional One-Stage Object Detection ［C］// 2019 IEEE/CVF International Conference on Computer Vision. Seoul， Korea （South）. New York： IEEE Press， 2019： 9627-9636.

[43] NEWELL A， YANG K Y， DENG J. Stacked Hourglass Networks for Human Pose Estimation ［M］. Computer Vision - ECCV 2016. Cham： Springer International Publishing， 2016： 483-499.

[44] YU F， WANG D， SHELHAMER E， et al. Deep Layer Aggregation ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE Press， 2018： 2403-2412.

[45] ZHANG X Y， ZHOU X Y， LIN M X， et al. ShuffleNet： an Extremely Efficient Convolutional Neural Network for Mobile Devices ［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT. New York： IEEE Press， 2018： 6848-6856.

[46] SANDLER M， HOWARD A， ZHU M L， et al. MobileNetV2： Inverted Residuals and Linear Bottlenecks ［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT. New York： IEEE Press， 2018： 4510-4520.

基金资助

国家自然科学基金资助项目(62076022)