基于EfficientDet-YOLOv7的钢轨损伤检测算法

Rail Damage Detection Algorithm Based on EfficientDet-YOLOv7

摘要

提出一种基于改进EfficientDet和YOLOv7算法的钢轨损伤检测方法，以应对传统人工巡检效率低和精度不足的问题。该方法结合了EfficientNet与双向特征金字塔网络(BiFPN)，显著提高了多尺度特征的处理能力，并通过引入更深的卷积层增强了特征提取能力。通过使用高清相机和光照补偿装置对钢轨表面进行图像采集，利用卷积神经网络对图像进行处理分析，实现快速、精准的钢轨损伤检测。实验结果表明，相比于YOLOv7、YOLOv5和YOLOv3，EfficientDet-YOLOv7算法在平均精度均值(mAP)、查准率(Precision)和查全率(Recall)等指标上分别提升了9.27%，8.50%和9.20%，并且具有更高的计算效率和收敛速度。

Abstract

This paper proposed a rail damage detection method based on an improved EfficientDet and YOLOv7 algorithm to address the issues of low efficiency and insufficient accuracy in traditional manual inspections. The method combined EfficientNet with the bi-directional feature pyramid network (BiFPN), significantly enhancing the processing ability of multi-scale features. Additionally, deeper convolutional layers were introduced to strengthen feature extraction capabilities. Using high-definition cameras and lighting compensation devices to capture images of the rail surface, the convolutional neural network processed and analyzed the images to achieve rapid and accurate rail damage detection. Experimental results show that, compared to YOLOv7, YOLOv5, and YOLOv3, the EfficientDet-YOLOv7 algorithm improves the mean average precision (mAP), precision, and recall by 9.27%, 8.50%, and 9.20%, respectively, while also offering higher computational efficiency and faster convergence speed.

Graphical abstract

关键词

钢轨损伤检测 / 图像采集 / YOLOv7 / EfficientDet / 多尺度特征处理

Key words

Rail Damage Detection / Image Capture / YOLOv7 / EfficientDet / Multi-scale Feature Processing

0　引言

在列车运行过程中，钢轨经常发生断裂、裂纹，掉块等问题，对列车运行安全构成严重威胁，钢轨缺陷的定期检测至关重要。传统的钢轨损伤检测方式主要依赖人工巡检，但这种方式效率低下，且受外界环境和人员疲劳等因素的影响，容易导致漏检。人工目视巡检已难以胜任高精度的钢轨表面缺陷检测任务，因此，自动化和智能化的钢轨损伤巡检需求日益迫切。近年来，机器视觉技术在钢轨损伤检测中得到了广泛应用。通过图像增强等技术对钢轨图像进行预处理，可以有效地识别和分割出钢轨损伤区域^[1-2]。

随着深度学习在计算机视觉领域的快速发展，计算机视觉技术在钢轨缺陷识别中的应用也愈加广泛。深度学习作为一种复杂的机器学习算法，在语音识别和图像识别等领域展现出明显优于传统方法的性能。与传统人工巡检方法相比，基于机器视觉的方法通过高清相机获取钢轨的高质量图像，再利用图像处理技术进行预处理和分析，最终通过深度学习中的神经网络模型完成钢轨缺陷的自动化识别。这种方法能够实现对钢轨表面缺陷的精确自动识别，显著提高了检测效率，节省了大量人力和物力。其在理论和实际应用方面都具有较高的意义，展现了良好的应用前景^[3-5]。

提出一种基于深度学习目标检测算法的钢轨表面损伤检测方法，通过卷积神经网络对图像进行处理和分析，实现了快速、精准的钢轨损伤检测，从而提高检测效率和精度，进一步保障铁路运输安全。

1　钢轨表面缺陷分类特征

钢轨表面缺陷的成因多种多样，但主要来源于外部挤压等因素^[6]。在列车沿铁路线路运行时，钢轨需承受列车本身的重力挤压，尤其在一些弯道处，列车在过弯时产生的巨大离心力也会对钢轨造成额外的挤压影响。

(1)疲劳裂纹^[7]。疲劳裂纹是由于列车反复对钢轨施加载荷，造成应力集中，从而在钢轨上形成细长裂纹。这类裂纹通常表现为水平、垂直或斜布等多种形态，其中水平裂纹往往与轨道曲线的应力集中相关，垂直裂纹则与列车车轮反复碾压产生的应力相关，斜布裂纹则多与轨道的弯曲或扭转应力有关。

(2)钢轨的磨耗^[8]。钢轨磨耗是列车车轮与钢轨表面长期摩擦磨损的结果。横向磨耗通常由车轮的侧向力导致，造成钢轨的横向滑移和擦痕；纵向磨耗则是由于车轮和钢轨之间的相对滑动长期积累所引起。此外，边缘磨耗指的是列车在通过弯道时，车轮对轨道边缘的摩擦造成的磨损。

(3)钢轨表面的锈蚀损伤^[9]。由于钢轨长期暴露在自然环境中，湿气、水分和氧化作用会导致金属的锈蚀。锈蚀通常以局部点状锈斑形式覆盖在钢轨表面，主要受环境中的腐蚀性介质和气候条件影响。

2　钢轨图像获取与数据处理

钢轨表面图像采集设备由图像采集模块、数据传输模块和数据存储与处理模块3个部分组成。

为了确保高质量的图像数据采集，图像采集模块采用了HF867工业级相机，能够在高动态范围内工作，适应不同光照条件，HF867相机参数如表1所示。此外，系统通过发光二极管(LED)光源补偿技术来解决由于天气变化或环境光照差异带来的图像失真问题。在图像采集过程中，设备通过2组摄像头从不同角度拍摄钢轨表面：一组摄像头以锐角拍摄，另一组则以垂直角度拍摄。这种多角度拍摄方法确保了钢轨表面的完整图像数据采集，减少了因角度限制导致的图像信息缺失。采集到的图像随后通过数据传输模块传递到数据存储与处理模块进行进一步的处理，保证数据的及时性和完整性。

数据存储与处理模块是系统的核心处理单元，负责对采集到的钢轨图像进行初步处理。该模块首先对图像进行分割和边缘检测，以突出钢轨表面特征。为提高处理精度，系统通过一系列优化算法剔除可能存在的二次伪边缘，避免噪声干扰。接下来，模块使用神经网络模型对处理后的图像进行进一步优化，增强图像识别的精确度。通过深度学习算法的加持，系统能够自动识别钢轨表面细微的损伤或瑕疵。数据存储与处理模块为后续的图像分析和决策提供了可靠的数据基础，确保平台能够准确识别钢轨的健康状况并作出智能化的判断。

为提高钢轨损伤识别的精度，系统使用颜色通道分量提取技术将原始彩色图像转换为灰度图像。具体来说，对于原始图像中的像素点(i,j)，利用红色分量R(i,j)、绿色分量为G(i,j)、蓝色分量B(i,j)得到加权灰度值H(i,j)。为了高效识别图像中的钢轨表面特征，鉴于钢轨与路基之间存在显著的色差，采用矩形方框识别出热点区域(Hot Zone，HZ)。在HZ区域内，首先计算各像素点灰度值的均值{\mu }_i和方差{\delta }_i，然后计算出适当的分割阈值{\beta }_i，如公式(1)所示。基于此阈值，对灰度图进行分割，生成二值图像。

{\beta }_i={\mu }_i+\mathrm{3}{\delta }_i⑴

在实际图像采集过程中，由于摄像头拍摄角度、环境光照和钢轨本身形状的变化，采集到的图像可能会出现较大差异。为了解决这一问题，系统引入了分区处理的方法，将采集到的图像分为不同区域进行独立处理。系统根据预设的逻辑，将图像中的HZ区域划分为左区(Left District，LD)和右区(Right District，RD)。在每个区域中，将有效的像素点按列顺序分别加入集合D中，并对集合D中的数据进行后续处理。

3　基于EfficientDet-YOLOv7的钢轨损伤识别算法

钢轨作为长期暴露于自然环境中的承重构件，极易发生各类损伤。对钢轨进行图像采集，并对图像中的缺陷进行准确识别，是实现钢轨状态评估与风险管控的关键环节。然而，传统目标检测网络在钢轨损伤检测中的应用存在局限性，主要表现为检测速度较慢或识别精度不足，难以满足实际需求。基于EfficientDet和YOLOv7构建了一种适用于钢轨损伤检测的融合算法。该算法结合了EfficientDet的高效性与YOLOv7的强大检测性能，显著提升了目标检测的整体精度和速度。

3.1　EfficientDet

EfficientDet 在设计上通过结合EfficientNet与 双向特征金字塔网络(BiFPN)大大提高了多尺度特征的处理能力。EfficientDet结构如图1所示，EfficientDet 使用EfficientNet作为主干网络，采用了复合缩放策略来同时调整网络的深度、宽度和分辨率，使模型的计算效率得到显著提升(见公式⑵)。这种缩放方式确保了在扩展网络容量的同时，保持了高效的计算能力，特别适合处理无人机图像中的小目标检测场景。

d={\alpha }^{\varphi },\hspace{1em}w={\beta }^{\varphi },\hspace{1em}r={\gamma }^{\varphi }⑵

式中：d为网络的深度；w为网络的宽度；r为输入图像的分辨率；\alpha，\beta，\gamma为缩放系数；\varphi为全局复合缩放因子。

其次，EfficientDet的核心创新在于BiFPN。与YOLOv5中的单向特征金字塔不同，BiFPN通过上下双向传递特征，使多尺度信息能够更加充分地融合。同时，BiFPN引入了自适应加权机制，使网络能够根据不同尺度特征的重要性动态调整每个特征的贡献，如公式⑶所示。这种可学习的加权方式使得模型在处理多尺度目标，特别是小目标时，能够更加精确地捕捉关键信息。

最后，通过BiFPN的双向融合，EfficientDet实现了从高层到低层、再从低层到高层的全面特征融合。每一层特征在不同尺度下都得到了充分利用，尤其是小目标信息能够更好地在各层之间传递和保留，最终提升了模型的整体检测精度和对复杂场景的适应能力。

P_{\mathrm{o}\mathrm{u}\mathrm{t}}=\frac{w_{\mathrm{1}}\cdot P_{\mathrm{i}\mathrm{n}\mathrm{1}}+w_{\mathrm{2}}\cdot P_{\mathrm{i}\mathrm{n}\mathrm{2}}}{w_{\mathrm{1}}+w_{\mathrm{2}}+\mathrm{ϵ}}⑶

式中：P_{\mathrm{i}\mathrm{n}\mathrm{1}}和P_{\mathrm{i}\mathrm{n}\mathrm{2}}分别表示来自不同尺度的输入特征图；w_{\mathrm{1}}和w_{\mathrm{2}}为可学习的加权系数；\mathrm{ϵ}为非0常数。

3.2　YOLOv7算法

YOLOv7在网络结构优化和小目标检测能力上有显著的提升。YOLOv7结构如图2所示，相比于YOLOv5，YOLOv7在多个层面进行了改进，在处理复杂场景和多尺度目标检测时表现出更高的精度和速度。YOLOv7对主干网络进行了改进，通过引入更深的卷积层来增强特征提取能力；通过卷积运算，网络能够有效提取输入图像中的局部特征。YOLOv7的深层结构设计能够捕获更复杂的图像特征，特别是在高密度目标场景中表现出色。其深层网络的卷积特征提取过程能够更好地捕捉小目标的细节信息，同时保持高效的计算性能，如公式(4)所示。

Y(i,j)={\displaystyle \sum _{m=\mathrm{0}}^{M-\mathrm{1}}}{\displaystyle \sum _{n=\mathrm{0}}^{N-\mathrm{1}}}X(i+m,j+n)\cdot K(m,n)⑷

式中：X为输入特征图；K为卷积核；Y为输出特征图。

YOLOv7在特征融合过程中采用了更优的特征拼接策略，通过引入跨层连接来加强特征图之间的信息共享。与传统的特征金字塔网络不同，YOLOv7的特征拼接策略能够在多个尺度上平衡特征的深度和宽度，使得不同分辨率的特征能够更好地结合，尤其是在小目标检测中，能够显著提升检测精度。另外，YOLOv7通过改进的损失函数设计进一步提升了检测精度。相比于YOLOv5，YOLOv7采用了更优化的损失函数来处理边界框回归和分类任务。尤其在小目标检测中，YOLOv7的损失函数更能精准定位目标并减少误差，如公式(5)所示。

L=L_{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{f}}+L_{\mathrm{c}\mathrm{l}\mathrm{s}}+L_{\mathrm{b}\mathrm{b}\mathrm{o}\mathrm{x}}⑸

式中：L_{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{f}} 为置信度损失；L_{\mathrm{c}\mathrm{l}\mathrm{s}}为分类损失；L_{\mathrm{b}\mathrm{b}\mathrm{o}\mathrm{x}}为边界框回归损失。

YOLOv7通过优化每个部分的损失来提升整体的检测性能。

3.3　EfficientDet-YOLOv7算法

为进一步提升目标检测任务中对多尺度目标的识别能力与推理效率，提出一种融合EfficientDet与YOLOv7优势的高效目标检测算法：EfficientDet-YOLOv7。该方法充分结合 EfficientDet中高效的特征提取与多尺度融合机制，以及 YOLOv7优化后的网络结构与损失函数设计，在保持检测精度的同时显著提高模型的计算效率与泛化能力。

首先，EfficientDet-YOLOv7采用EfficientNet作为主干特征提取网络。该网络结构以复合缩放系数为基础，通过统一调整深度、宽度与输入分辨率，实现模型复杂度与性能之间的最佳平衡。在特征融合阶段，模型通过EfficientDet中的BiFP结构，实现跨尺度信息的双向融合。BiFPN利用可学习的加权连接策略，在保证多尺度特征有效整合的同时，增强了对小目标与边缘目标的感知能力。

在检测头设计中，EfficientDet-YOLOv7借鉴 YOLOv7的结构优化策略，通过引入特征增强模块与路径聚合结构，模型在不同层之间实现高效的信息传递，从而提升了检测结果的细粒度表达能力。同时保留并整合了YOLOv7的损失函数以优化检测精度。

EfficientDet-YOLOv7通过融合 EfficientDet的有效架构与YOLOv7的高精度检测策略，在模型计算复杂度与检测精度之间实现了良好平衡。该方法在计算资源受限且精度要求较高的场景中表现出良好的实用性与扩展性。EfficientDet-YOLOv7算法步骤如图3所示。

4　实验分析

为了验证EfficientDet-YOLOv7算法的有效性，实验使用了2个包含不同缺陷类型的钢轨表面数据集。首先，通过色彩增强的方法，调整图像的亮度、饱和度和对比度，以丰富图像信息，增强模型对不同光照条件的适应性。其次，采用噪声处理方法，模拟设备工作时的干扰，向图像中添加适量噪声，以提高算法对复杂环境下图像识别的鲁棒性。此外，还通过仿射变换进行数据扩充，包括缩放、翻转等一系列线性变换，以增加数据多样性并提升模型的泛化能力。实验使用的钢轨表面缺陷数据集由中国铁道科学研究院集团有限公司在9 km环形铁道试验线上采集，数据集中包含超过10 000张图像，其中包含缺陷特征的图像仅有400张^[10-13]。

实验中使用的硬件平台配置如下。操作系统Windows 11，处理器Intel i9-9900K，内存32 GB，显卡NVIDIA RTX 4060。数据实验采用Python 3.8作为编程语言进行测试。实验参数设置为：训练轮数 200，批处理大小为8，初始学习率为0.01，动量设置为 0.937，使用随机梯度下降算法(SGD)来优化损失函数。为了有效评估所提出模型的改进效果，实验采用了以下评价指标：平均精度均值(mAP)、查准率(Precision)和查全率(Recall)。其中，mAP用于衡量模型整体检测的精度，Precision表示模型在所有检测出的缺陷中真正缺陷的比例，而Recall则衡量模型对实际存在的缺陷的检测覆盖率。这些指标的数值越高，表明模型的检测性能越优异^[14-15]。算法性能如表2所示。

从实验结果可以看出，EfficientDet-YOLOv7算法在钢轨表面缺陷检测中的综合性能达到了最佳水平，平均精度均值达到88.6%。同时，缺陷的漏检率和误检率也得到了显著改善。这一优异表现主要归因于EfficientNet与BiFPN的结合，大幅提升了模型对多尺度特征的处理能力。在同等配置下对比YOLOv7、YOLOv5、YOLOv3，mAP、Precision和Recall等指标都有全面的提升，平均分别提升了9.27%，8.50%，9.20%。

不同算法的mAP对比如图4所示。从图中可以看出，YOLOv7和YOLOv5在稳定性方面表现较好，都对钢轨损伤图像表现出了较强的识别性能，且收敛速度较快，YOLOv3在模型性能方面则明显逊色于其他算法，且收敛波动较大。得益于EfficientDet复合缩放策略来同时调整网络的深度、宽度和分辨率，EfficientDet-YOLOv7的计算效率得到显著提升，均值平均精度的上升区间非常早，在Epochs=100时就迅速到达了拐点，学习率和收敛速度都明显优于其他算法^[16-17]。

5　结束语

为解决多类别钢轨缺陷检测任务中检测精度不足等问题，提出了一种基于EfficientDet-YOLOv7的钢轨表面缺陷检测方法。首先，EfficientDet在设计上通过结合EfficientNet与BiFPN大大提高了多尺度特征的处理能力；其次，对主干网络进行了改进，通过引入更深的卷积层来增强特征提取能力^[18-19]。引入深层结构设计能够捕获更复杂的图像特征，特别是在高密度目标场景中表现出色。其深层网络的卷积特征提取过程能够更好地捕捉小目标的细节信息，同时保持高效的计算性能。通过实验结论分析，EfficientDet-YOLOv7算法对钢轨表面缺陷的检测性能综合指标达到最佳，对比YOLOv7、YOLOv5、YOLOv3个算法的mAP、Precision和Recall等指标，分别平均提升了9.27%，8.50%，9.20%。此外，EfficientDet-YOLOv7的计算效率得到显著提升，学习率和收敛速度都明显优于其他算法。

参考文献

[1] 杨　飞，涂文靖，魏子龙，等. 铁路工务、电务、供电检测装备发展现状综述[J]. 交通运输工程学报，2023，23(1)：47-69.

[2] YANG Fei， TU Wenjing， WEI Zilong，et al. Review on Development Status of Inspection Equipment for Track Maintenance，Communication and Signaling，and Power Supply of Railway[J]. Journal of Traffic and Transportation Engineering，2023，23(1)：47-69.

[3] GONG W D， AKBAR M F， JAWAD G N，et al. Nondestructive Testing Technologies for Rail Inspection：A Review[J]. Coatings，2022，12(11)：1790.

[4] 吴文俊. 基于深度学习的钢轨表面缺陷识别算法研究[D]. 兰州：兰州交通大学，2022.

[5] 李林峰. 高铁轨道RCF电磁涡流检测电磁场仿真平台设计与实现[D]. 成都：电子科技大学，2021.

[6] 熊龙辉，张玉华，马运忠，等. 基于涡流检测和神经网络的钢轨表面滚动接触疲劳裂纹特征评估[J]. 中国铁道科学，2021，42(5)：69-75.

[7] XIONG Longhui， ZHANG Yuhua， MA Yunzhong，et al. Characteristics Evaluation of RCF Crack on Rail Surface Based on Eddy Current Testing and Neural Network[J]. China Railway Science，2021，42(5)：69-75.

[8] 许　鹏，曾泓茗，朱晨露，等. 基于增强磁场涡流的高速轨道缺陷检测方法[J]. 中国机械工程，2021，32(4)：454-459，466.

[9] XU Peng， ZENG Hongming， ZHU Chenlu，et al. High Speed Track Defect Detection Methods Based on Enhanced Magnetic Field Eddy Currents[J]. China Mechanical Engineering，2021，32(4)：454-459，466.

[10] 贾昕昱，黎国清，刘秀波，等. 重载铁路钢轨疲劳裂纹萌生影响因素[J]. 中国铁道科学，2020，41(4)：40-47.

[11] JIA Xinyu， LI Guoqing， LIU Xiubo，et al. Factors Influencing Fatigue Crack Initiation of Rail for Heavy Haul Railway[J]. China Railway Science，2020，41(4)：40-47.

[12] 魏堂建，刘林芽，李纪阳，等. 客运专线钢轨擦伤原因分析[J]. 铁道科学与工程学报，2015，12(3)：489-495.

[13] WEI Tangjian， LIU Linya， LI Jiyang，et al. Analysis the Reason of Passenger Line’s Rail Scratch[J]. Journal of Railway Science and Engineering，2015，12(3)：489-495.

[14] 杨　超. 沪昆线钢轨锈蚀调查分析及防治措施[J]. 铁道技术监督，2021，49(12)：42-48.

[15] YANG Chao. Investigation，Analysis and Prevention Measures of Rail Corrosion in Shanghai-Kunming Railway[J]. Railway Quality Control，2021，49(12)：42-48.

[16] LI H L， WANG F， LIU J B，et al. Ensemble Model for Rail Surface Defects Detection[J]. PLoS One，2022，17(5)：e0268518.

[17] 闵永智，程天栋，马宏锋. 基于多特征融合与AdaBoost算法的轨面缺陷识别方法[J]. 铁道科学与工程学报，2017，14(12)：2554-2562.

[18] MIN Yongzhi， CHENG Tiandong， MA Hongfeng. Rail Surface Defect Recognition Method Based on Multi Feature Fusion and Adaboost Algorithm[J]. Journal of Railway Science and Engineering，2017，14(12)：2554-2562.

[19] 史红梅，张志鹏，李富强. 钢轨磨耗动态测量中轨廓自动配准方法研究[J]. 铁道学报，2021，43(10)：84-90.

[20] SHI Hongmei， ZHANG Zhipeng， LI Fuqiang. Study on Automatic Registration of Rail Profile during Dynamic Measurement of Rail Wear[J]. Journal of the China Railway Society，2021，43(10)：84-90.

[21] 岳　彪，闵永智，马宏锋，等. 钢轨表面缺陷检测系统中图像增强预处理方法研究[J]. 铁道科学与工程学报，2018，15(12)：3248-3256.

[22] YUE Biao， MIN Yongzhi， MA Hongfeng，et al. Research on Image Enhancement Preprocessing Method in Rail Surface Defects Detection System[J]. Journal of Railway Science and Engineering，2018，15(12)：3248-3256.

[23] 金侠挺. 基于深度学习的高铁钢轨表面缺陷检测方法研究[D]. 长沙：湖南大学，2020.

[24] CAO X H， XIE W， AHMED S M，et al. Defect Detection Method for Rail Surface Based on Line-Structured Light[J]. Measurement，2020，159：107771.

[25] 李林俊，张　欢，厉　伟，等. 基于YOLO的智能化铁路货车搭扣缺陷检测系统设计与实现[J]. 铁道货运，2023，41(7)：60-70.

[26] LI Linjun， ZHANG Huan， LI Wei，et al. Design and Implementation of Intelligent Hasp Defect Detection System for Railway Freight Trains Based on YOLO[J]. Railway Freight Transport，2023，41(7)：60-70.

[27] 刘　飞，张义川，胡　淦，等. 面向现代物流的长钢轨专用座架监测系统研究[J]. 铁道货运，2024，42(4)：46-52，66.

[28] LIU Fei， ZHANG Yichuan， HU Gan，et al. Research on Monitoring System of Special Supports for Long Steel Rails in Modern Logistics[J]. Railway Freight Transport，2024，42(4)：46-52，66.

[29] 王同军，蒋　辉，尤明熙，等. 基于模数驱动的高速铁路线路设备状态检测评估技术与实践[J]. 铁道运输与经济，2024，46(9)：1-14.

[30] WANG Tongjun， JIANG Hui， YOU Mingxi，et al. Practice of High Speed Railway Line Equipment State Detection and Assessment Technology Driven by Modulus[J]. Railway Transport and Economy，2024，46(9)：1-14.

[31] 潘健英，李英奇，梁　旭，等. 城轨小半径曲线钢轨波磨的成因与整治研究综述[J]. 铁道运输与经济，2023，45(7)：76-82.

[32] PAN Jianying， LI Yingqi， LIANG Xu，et al. Review of Causes and Remediation of Rail Corrugation with Small-Radius Curves in Urban Rail Transit[J]. Railway Transport and Economy，2023，45(7)：76-82.