基于ADF-YOLO模型的双模态轨道扣件缺陷检测方法

Dual-modal rail fastener defect detection model based on ADF-YOLO

摘要

针对轨道扣件缺陷检测中单一可见光图像易受环境干扰、缺乏空间结构信息，导致模型对小尺寸缺陷及扣件空间形变敏感性不足，进而易产生误检和漏检的问题，提出一种基于注意力机制与双模态融合YOLO（Attention and Dual-Modal Fusion YOLO，ADF-YOLO）模型的检测方法。首先，构建ADF-YOLO模型，通过双流骨干网络结构，并行提取轨道扣件可见光图像的纹理特征和深度图像的空间结构特征；其次，为提高对小尺寸缺陷特征的捕获能力，在ADF-YOLO模型骨干网络中引入注意力与多分支卷积协同模块，扩大感受野，强化细节特征表达；最后，为实现对异构特征的高效融合，在ADF-YOLO模型颈部网络引入注意力引导的双模态特征融合模块，充分挖掘双模态特征融合范式，生成鲁棒性更高且对缺陷形态更敏感的融合特征。结果表明：在扣件缺陷多模态数据集上，基于ADF-YOLO模型的检测方法，在交并比阈值为0.5和0.5~0.95时平均精度均值分别达90.9%和70.5%；与多种单模态和多模态目标检测模型相比，基于ADF-YOLO模型的检测方法在检测精度上具有显著优势。提出的ADF-YOLO模型可为轨道扣件缺陷巡检任务提供可靠的技术支撑。

Abstract

In rail fastener defect detection, single-modal visible-light images are susceptible to environmental interference and lack spatial structural information. This limitation reduces the model’s sensitivity to small-sized defects and spatial deformations of fasteners. Consequently, it increases the rate of false and missed detections. To address these issues, this paper proposes a detection method based on the Attention and Dual-Modal Fusion YOLO (ADF-YOLO) model. First, the ADF-YOLO model is constructed, which employs a dual-stream backbone architecture to concurrently extract texture features from visible-light images and spatial structural features from depth images of railway fasteners. Second, an Attention and Multi-Branch Convolution Synergy Module is introduced into the backbone network to improve the capture of small-sized defect features. This module expands the receptive field and enhances the representation of detailed features. Finally, an Attention-Guided Dual-Modal Feature Fusion Module is integrated into the neck network for the efficient fusion of heterogeneous features. This module fully exploits the dual-modal feature fusion paradigm. Consequently, it generates more robust fused features that are highly sensitive to defect morphology. The results demonstrate that on a multimodal fastener defect dataset, the ADF-YOLO model detection method achieves a mean average precision (m_AP) of 90.9% and 70.5% at IoU thresholds of 0.5 and 0.5-0.95, respectively. The ADF-YOLO method significantly outperforms various single-modal and multi-modal object detection models in detection accuracy. The proposed ADF-YOLO model provides reliable technical support for railway fastener defect inspection tasks.

Graphical abstract

关键词

铁路安全 / 轨道扣件 / 缺陷检测 / 多模态融合 / 注意力机制 / YOLO

Key words

Railway safety / Rail fasteners / Defect detection / Multimodal fusion / Attention mechanism / YOLO

铁路是我国综合交通运输体系的骨干力量，保障其运输安全是铁路发展的重中之重^［1］。扣件是轨道的关键部件，起固定钢轨的作用，其状态直接影响列车运行安全。在铁路系统中，由于受列车荷载、材料老化等因素影响，组成扣件的弹条、螺帽等零部件将出现松动、丢失等缺陷，影响列车运行安全。因此，定期检查和处理扣件缺陷，对保障行车安全，推动铁路发展具有重要意义。传统的扣件缺陷检测方法以人工巡检为主，虽细致全面，但存在天窗期工作强度大、效率低的缺陷。基于可见光图像和深度学习的智能检测算法具有直观可视、部署灵活等优势，已有众多国内外学者在该领域开展研究。

根据模型结构的不同，当前研究方法可以分为两阶段方法和单阶段方法。相关学者通过对快速区域卷积神经网络（Faster Region-Convolutional Neural Network，Faster R-CNN）^［2］和掩码区域卷积神经网络（Mask Region-Convolutional Neural Network，Mask R-CNN）^［3］等两阶段模型进行针对性改进，实现了对弹条形变、扣件缺失和松动等缺陷的检测^［4-6］。你只看一次（You Only Look Once，YOLO）视觉模型作为典型的单阶段模型，被广泛应用在扣件缺陷检测上。针对不同扣件巡检场景和需求，部分学者通过添加注意力机制^［7］、改进损失函数^［8］、轻量化模型框架^［9］等操作对YOLO系列算法进行了针对性改进。此外，随着Transformer模型在视觉领域的广泛应用，有学者将Transformer模型与卷积神经网络（Convolutional Neural Networks，CNN）相结合，进行扣件缺陷检测。He等^［10］提出了一种铁路扣件缺陷检测网络，其通过构建1个CNN块和1个多尺度的Vision Transformer块交替提取扣件的局部细节特征和全局语义特征，以增强缺陷识别效果。基于可见光图像的检测方法已经发展得较为成熟，但可见光图像缺乏空间结构信息，污渍遮挡、缺陷尺寸过小可能引起漏检和误检的问题。

针对可见光图像缺乏空间结构信息的固有局限，可见光图像与深度图像融合检测提供了一条有效途径。深度图像能够提供轨道部件的三维结构信息，通过将深度图像与可见光图像融合，能够实现2种图像之间的信息互补，从而提高缺陷的检测效果。按照融合阶段的不同，融合方式可以分为像素级融合、决策级融合和特征级融合^［11］。Gao等^［12］提出了一种基于像素级融合的扣件异常检测方法，将灰度图像和相应的深度图像融合后输入网络进行检测。Wang等^［13］提出了一种无砟轨道表面缺陷检测网络，该网络利用融合后的可见光图像和深度图像检测复杂的缺陷对象。像素级融合虽能保留原始数据的完整信息，但可能造成信息冗余。Ge等^［14］提出了一种基于决策级融合的铁路轨道异常检测方法，此方法由监督预检测、半监督再检测和决策级融合3部分组成，将前2次检测结果在决策级进行融合。陈仕涛^［15］提出了一种基于多传感器信息融合的轨道异物检测方法，该方法对摄像头和激光雷达采集的数据分别进行检测，最后进行决策级融合。决策级融合方法的灵活性较强，但依赖人工设定的决策规则，存在较高的判定代价。赵宏伟等^［16］提出了一种基于特征级融合的轨道缺陷检测方法，通过构建轨道表面缺陷的双模态深度学习检测网络，分别融合强度图像和深度图像的多尺度特征，进行钢轨顶面擦伤检测。孙铁强等^［17］提出了一种基于YOLO的多模态钢轨表面缺陷检测算法，通过双模态特征融合模块对不同尺度的深度信息和可见光信息进行融合，实现了对擦伤等4类钢轨缺陷的检测。合理的特征级融合能够在保留关键语义信息的同时提升网络的特征表征能力，但是现有的特征级融合方法以特征图相乘、通道拼接等简单的融合方法为主，可能会造成不同模态特征之间的相互抑制，导致检测效果下降。

本文构建基于注意力机制与双模态融合的YOLO（Attention and Dual-Modal Fusion YOLO，ADF-YOLO）模型，并基于该模型提出一种轨道扣件缺陷检测方法。ADF-YOLO模型以双流骨干网络并行提取可见光与深度图像的多尺度特征，并通过注意力与多分支卷积协同模块（Attention and Multi-Branch Convolution Synergy Module，AMCS模块）与注意力引导的双模态特征融合模块（Attention-Guided Dual-Modal Feature Fusion Module，A-GDFF模块）实现模态间互补信息的充分整合，以有效提升对小尺寸缺陷及扣件空间形变缺陷的检测精度。

1 轨道扣件缺陷检测方法

1.1　整体架构

注意力机制与双模态融合的YOLO模型整体架构如图1所示，该模型基于YOLOv8n模型改造。YOLOv8n模型由骨干网络、颈部网络和头部网络组成。其中，骨干网络由卷积-批归一化-激活模块（Conv+BatchNorm+SiLU，CBS模块）、高效特征提取模块（C2f模块）和快速空间金字塔池化模块（Spatial Pyramid Pooling-Fast，SPPF）组成，负责特征提取。颈部网络由特征金字塔（Feature Pyramid Network，FPN）和路径聚合网络（Path Aggregation Network，PAN）组成，负责特征融合。头部网络则负责处理融合后的特征，得到目标检测结果。

在YOLOv8n的基础上，ADF-YOLO模型首先对其骨干网络进行扩展，构建双流骨干网络（可见光骨干网络和深度骨干网络）结构并行提取可见光图像特征和深度图像特征。随后，在骨干网络浅层引入AMCS模块，旨在利用注意力机制和多分支卷积结构捕获长距离上下文信息，扩大感受野，以提高模型对小目标的检测效果。同时，在颈部网络引入A-GDFF模块，通过多阶段双模态融合与增强策略，增强和融合来自不同骨干网络同一层级间的单模态特征，减少特征差异，获得融合特征图。最后，将经过FPN和PAN结构处理的融合特征图输入到检测头中完成对扣件缺陷的检测。

1.2　AMCS模块

轨道巡检图像通常以俯视角度拍摄，轨枕、道床和钢轨等背景占据了图像中的大部分像素点，单个扣件在图像中的像素占比极小。在感受野较小的情况下，模型更聚焦于局部特征，导致全局建模能力较差，易发生误检。针对上述问题，受文献［18］和文献［19］的启发，在双流骨干网络的第3层引入AMCS模块，结合注意力机制和多分支卷积结构提取长距离上下文信息，扩大感受野，提高网络对小目标的检测效果。

AMCS模块的结构示意图如图2所示。首先，在原有C2f结构上以并行方式接入上下文锚点注意力机制（Context Anchor Attention，CAA），与原输出融合。CAA通过平均池化提取图像的全局上下文信息，同时利用长条状深度卷积（Depthwise Convolution，DWConv）捕获扣件各部件与其周边更大范围的空间邻域之间的关联性，弥补网络上下文信息提取能力不足的问题。通过CAA生成的空间注意力图像对主分支的输出进行逐元素相乘加权后再与原输出相加，引导网络聚焦于扣件及其周边区域，提高对小目标部件的识别效果。

其次，在AMCS模块的末端引入1层特征增强模块（Feature Enhancement Module，FEM）进行后处理。FEM层由4个分支组成，其中残差分支用于形成等效映射，保留扣件的整体特征；标准卷积分支用于提取扣件局部邻域内的基础纹理和边缘特征，从而捕捉螺帽、平垫圈等小尺寸部件的细微形变；2个空洞卷积分支则用于扩大感受野，使提取的特征图能够保留更多信息。通过多分支卷积结构能够提取多种具有判别性的语义信息，增加特征丰富性，提高网络对小目标的识别效果。

1.3　A-GDFF模块

不同模态的特征分布差异较大，现有的双模态特征融合方法容易忽略不同模态特征之间的关联，无法有效提取不同模态间的互补信息，容易造成信息冗余，影响模型性能。此外，与单模态特征相比，融合之后的双模态特征更为复杂，模型捕获小尺寸扣件缺陷特征的难度更大。针对上述问题，设计一种注意力引导的双模态特征融合模块A-GDFF模块。该模块采用多阶段双模态融合与增强策略，在充分利用不同模态互补信息的同时减少特征差异，增强特征共享与对齐，以约束不同模态之间的预测一致性。A-GDFF模块结构示意图如图3所示。

A-GDFF模块基于金字塔结构提取融合特征图特征，生成混合特征权重，基于通道注意力机制^［20］分别提取可见光图像和深度图像权重；随后将2种权重融合，分别对可见光特征和深度特征进行加权；最后将加权后的双模态特征相加得到融合特征图，具体融合步骤如下。

由于可见光图像提取的光谱纹理特征{\mathit{F}}_{\mathrm{R}\mathrm{G}\mathrm{B}}与深度图像提取的三维几何特征{\mathit{F}}_{\mathrm{D}}存在显著的语义差异，简单的特征加权往往会导致语义错位。因此，A-GDFF模块首先将{\mathit{F}}_{\mathrm{R}\mathrm{G}\mathrm{B}}和{\mathit{F}}_{\mathrm{D}}在通道维度拼接，并通过1个3×3标准卷积层完成异构特征的初步语义融合与降维压缩，得到混合特征图{\mathit{F}}_F，如式（1）所示。这一步骤将原本处于2个独立特征空间的异构信息，强制映射到了1个统一的共享特征空间中。

{\mathit{F}}_{\mathrm{F}}={{\mathrm{C}}_{\mathrm{o}\mathrm{n}\mathrm{v}}}_{\mathrm{3}\times \mathrm{3}}\left({\mathrm{C}}_{\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}}({\mathit{F}}_{\mathrm{R}\mathrm{G}\mathrm{B}},{\mathit{F}}_{\mathrm{D}})\right)（1）

式中：{{\mathrm{C}}_{\mathrm{o}\mathrm{n}\mathrm{v}}}_{\mathrm{3}\times \mathrm{3}}（·）为3×3标准卷积运算；{\mathrm{C}}_{\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}}（·）为通道拼接运算。

随后，设计深度卷积金字塔以提取包含双模态联合分布规律的混合特征权重，如式（2）所示。该金字塔由3个步长与卷积核大小相等，填充为0的深度可分离卷积（Depthwise Separable Convolution，DSConv）级联构成，尺度参数分别设置为5×5，4×4，4×4。在处理特征图时，初始的5×5较大卷积核率先捕获扣件整体的宏观结构上下文，随后级联的2个4×4卷积则在逐层降维的过程中，精细聚合螺帽松动、平垫圈丢失等局部微小缺陷的微弱空间分布规律。该尺度组合在不干扰通道信息的前提下迅速降低特征图的空间维度，同时捕捉了可见光纹理信息和三维几何分布信息，完成对包含双模态联合分布规律的混合特征权重{\mathit{W}}_{\mathrm{F}}的提取。{\mathit{W}}_{\mathrm{F}}作为2种模态交互的桥梁，为后续的对齐提供全局一致性参考。

{\mathit{W}}_{\mathrm{F}}={\mathit{D}}_{\mathrm{S}\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{4}\times \mathrm{4}}\left({\mathit{D}}_{\mathrm{S}\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{4}\times \mathrm{4}}\left({\mathit{D}}_{\mathrm{S}\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{5}\times \mathrm{5}}({\mathit{F}}_{\mathrm{F}})\right)\right)（2）

式中：D_{\mathrm{S}\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{n}\times \mathrm{n}}}（·）为卷积核大小为n×n的深度可分离卷积，n为4或5。

同时，独立提取可见光和深度特征的自身注意力权重{\mathit{W}}_{\mathrm{R}\mathrm{G}\mathrm{B}}和{\mathit{W}}_{\mathrm{D}}。该环节旨在采用通道注意力机制显式地建模通道之间的相互依赖性，自适应地重新校准通道特征响应，从而提高特征图表示的质量。具体通过1个自适应平均池化层提取全局特征向量，之后将其输入1个2层的全连接网络中分别生成可见光权重{\mathit{W}}_{\mathrm{R}\mathrm{G}\mathrm{B}}和深度权重{\mathit{W}}_{\mathrm{D}}，分别为

{\mathit{W}}_{\mathrm{R}\mathrm{G}\mathrm{B}}={\mathrm{F}}_{\mathrm{C}}\left({\mathrm{A}}_{\mathrm{v}\mathrm{g}\mathrm{P}\mathrm{o}\mathrm{o}\mathrm{l}}({\mathit{F}}_{\mathrm{R}\mathrm{G}\mathrm{B}})\right)（3）

{\mathit{W}}_{\mathrm{D}}={\mathrm{F}}_{\mathrm{C}}\left({\mathrm{A}}_{\mathrm{v}\mathrm{g}\mathrm{P}\mathrm{o}\mathrm{o}\mathrm{l}}({\mathit{F}}_{\mathrm{D}})\right)（4）

式中：{\mathrm{F}}_{\mathrm{C}}（·）为全连接操作；\mathrm{A}{}_{\mathrm{v}\mathrm{g}\mathrm{P}\mathrm{o}\mathrm{o}\mathrm{l}}{}^{}（·）为自适应平均池化。

之后，混合特征权重与单模态权重加权融合。为了保证可见光信息与三维几何信息在融合过程中的语义一致性，设计基于共享上下文信息的一致性约束机制。具体而言，在对单模态特征进行加权时，网络将该模态自身注意力权重与提取到的混合特征权重进行逐元素相加，并经激活函数激活后作为最终引导权重。在该过程中，网络无需设定固定的加权比例超参数，而是通过端到端的反向传播，自适应地调整各分支特征通道的响应幅值。利用最终的引导权重分别对可见光图像和深度图像进行逐元素相乘，得到{\mathit{F}}_{\mathrm{R}\mathrm{G}\mathrm{B}}^{\text{'}}和{\mathit{F}}_{\mathrm{D}}^{\text{'}}，完成对单模态特征的加权增强，即

{\mathit{F}}_{\mathrm{R}\mathrm{G}\mathrm{B}}^{\text{'}}={\mathit{F}}_{\mathrm{R}\mathrm{G}\mathrm{B}}{\mathrm{S}}_{\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}}\left({\mathit{W}}_{\mathrm{R}\mathrm{G}\mathrm{B}}+{\mathit{W}}_{\mathrm{F}}\right)（5）

{\mathit{F}}_{\mathrm{D}}^{\text{'}}={\mathit{F}}_{\mathrm{D}}{\mathrm{S}}_{\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}}\left({\mathit{W}}_{\mathrm{D}}+{\mathit{W}}_{\mathrm{F}}\right)（6）

式中：{\mathrm{S}}_{\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}}（·）为Sigmoid激活函数。

这种全局联合语义空间的强制约束有效消除了单一模态在铁路巡检场景下产生的独立视觉偏差，促使异构特征在融合前向统一的物理共识靠拢，从而隐式且精准地实现了双模态特征的深度对齐。最后，将经过一致性对齐的{\mathit{F}}_{\mathrm{R}\mathrm{G}\mathrm{B}}^{\text{'}}和{\mathit{F}}_{\mathrm{D}}^{\text{'}}相加，输出高质量的融合特征图{\mathit{F}}_{\mathrm{F}}^{\text{'}}，即

{\mathit{F}}_{\mathrm{F}}^{\text{'}}={\mathit{F}}_{\mathrm{R}\mathrm{G}\mathrm{B}}^{\text{'}}+{\mathit{F}}_{\mathrm{D}}^{\text{'}}（7）

2 试验验证

2.1　扣件缺陷多模态数据集

为全面评估ADF-YOLO模型在实际巡检场景中的检测性能，构建扣件缺陷多模态数据集，数据采集场景及原理如图4所示。数据集中的图像通过搭载了图像采集模块的轨检小车采集于1条全长60 m的真实比例高速铁路无砟轨道试验线上。试验线采用标准的60 kg · m^-1钢轨，轨道扣件采用广泛应用于高速铁路的WJ-8B型扣件。数据采集时天气为晴天，在室内光照度为500 lx的正午强光条件下共采集2 200对图像，光照度为50 lx的傍晚暗光条件下共采集905对图像。

数据采集时轨检小车上配备了由3D结构光相机、线性激光器等设备组成的图像采集模块。激光器发出的激光线垂直照射到轨道表面，通过3D结构光相机拍摄该激光线得到轨道部件的激光断面图像；随后，激光器和相机随车移动等间距采集的轨道断面图像，获取轨道的灰度信息和深度信息。最后对采集的轨道断面图像进行拼接，分别生成反映二维特征的灰度图和体现三维特征的深度图。

数据集共3 150对（2 048×2 048）像素的图像，每张图像通常包含4个扣件、2个轨枕、1条钢轨和1块轨道板，数据集中的图像示例如图5所示。按8∶1∶1的比例将数据集划分为训练集、验证集和测试集。

数据集图像中各轨道部件的像素占比详见表1。由表1可知：单个扣件在图像中的像素占比仅为1.2%，发生在扣件局部的螺帽或平垫圈缺陷，其像素占比仅为0.13%。因此，将螺帽丢失、螺帽松动和平垫圈丢失这3个数据集中尺寸最小且表观变化最微弱的缺陷定义为小目标。

数据集中各类样本的整体分布情况见表2。从表2可以看出：数据集中正常扣件的数量显著高于其余12类缺陷样本，缺陷样本的数量分布相对均衡。该类别不平衡现象源于轨道巡检的实际场景特征：正常扣件在轨道结构中占主导地位，缺陷发生频率相对较低，且单幅图像中所有扣件同时出现缺陷的概率极低。

2.2　试验条件

试验系统采用Ubuntu 20.04，GPU采用NVIDIA GeForce RTX 4090，试验环境的Python版本为3.8.20，PyTorch版本为2.4.1，CUDA版本为11.3。训练时，输入图像统一缩放至（640×640）像素，采用SGD优化器，批处理大小设为32，初始学习率为0.001，共训练300轮。针对样本类别不平衡问题，训练过程中采用马赛克（Mosaic）数据增强策略，通过随机拼接扩充少数类缺陷的样本多样性；同时，采用YOLO框架的解耦头设计与动态样本分配机制，引导模型优先聚焦稀有难例，有效提升稀有类别的特征学习效率。

2.3　评价指标

采用精确率P（Precision），召回率R（Recall），平均精度均值m_AP（Mean Average Precision），小目标类别的平均精度A_PS（Average Precision to Small）评价模型性能。P为检测结果中正确检测的比例，R为所有目标中被成功检测的比例，m_AP为平均精度A_P（Average Precision）的平均值，是评价模型综合性能的关键指标，其中A_P为模型识别某一类别目标的平均精度。一般采用m_AP@0.5和m_{AP@0.5：0.95}展示m_AP的大小，二者分别表示当预测框与真实框的交并比（Intersection over Union，IoU）为0.5时m_AP的大小，以及当IoU从0.5到0.95以0.05为步长变化时，各IoU值下的m_AP的平均值。A_PS指小目标类别的平均精度，计算方式为提取螺帽丢失、螺帽松动和平垫圈丢失3类小目标缺陷在IoU=0.5：0.95阈值下的单类平均精度，计算其算术平均值。各评价指标的计算式分别为

P=\frac{T_{\mathrm{P}}}{T_{\mathrm{P}}+F_{\mathrm{P}}}（8）

R=\frac{T_{\mathrm{P}}}{T_{\mathrm{P}}+F_{\mathrm{N}}}（9）

A_{\mathrm{P}}={\displaystyle \underset{\mathrm{0}}{\overset{\mathrm{1}}{\int }}}P(R)\mathrm{d}R（10）

m_{\mathrm{A}\mathrm{P}}=\frac{\mathrm{1}}{k}{\displaystyle \sum _{i=\mathrm{1}}^k}{A}_{\mathrm{P}i}（11）

A_{\mathrm{P}\mathrm{S}}=\frac{\mathrm{1}}{\mathrm{3}}\left(A_{\mathrm{P}\mathrm{螺帽}\mathrm{丢失}@\mathrm{0.5}:\mathrm{0.95}}+A_{\mathrm{P}\mathrm{螺帽}\mathrm{松动}@\mathrm{0.5}:\mathrm{0.95}}+A_{\mathrm{P}\mathrm{平垫}\mathrm{圈丢}\mathrm{失}@\mathrm{0.5}:\mathrm{0.95}}\right)（12）

式中：T_P表示真阳性；F_P表示假阳性；T_N表示真阴性；F_N表示假阴性；k表示所检测样本类别。

2.4　对比试验

2.4.1　定量对比

将ADF-YOLO模型分别与部分最新的YOLO模型^［21］、基于YOLO的双模态模型^［22］以及多模态目标检测领域代表性模型迭代式交叉注意力引导特征融合（Iterative Cross-Attention Guided Feature Fusion，ICAFusion）模型^［23］和超轻量级双模态自适应融合网络（Super-Lightweight Bimodal Adaptive Fusion Network，SLBAF-Net）^［24］进行对比。试验时，单模态模型的输入仅为可见光图像，双模态模型输入为可见光图像和深度图像（RGB and Depth，RGBD）。ADF-YOLO模型与对比模型在验证集上的对比结果见表3。由表3可知：与对比模型相比，本模型的m_{AP@0.5：0.95}指标均达到最优，比基准模型YOLOv8n提升了4.7%；ADF-YOLO模型的A_PS相较于基准模型YOLOv8n实现了10.6%的提升，明显高于全类别的平均提升水平，这得益于AMCS模块有效扩展了感受野并成功捕获了高频细节，以及A-GDFF模块有效融合了三维几何特征，极大缓解了微小缺陷在二维高分辨率背景中易被淹没的语义退化问题，展现出卓越的微弱特征表征能力。

在验证集上对比ADF-YOLO模型与单模态YOLO模型在13类样本上的m_{AP@0.5：0.95}指标，结果见表4。

从表4可以看出以下结论。

（1）与基准模型YOLOv8n相比，ADF-YOLO模型在各个类别的检测精度上均有不同程度的提升，平均提升幅度达4.7%。从缺陷的物理尺寸与形态特征来看，这种提升具有明显的类别差异性。首先，对于平垫圈丢失、螺帽松动这类小目标缺陷，由于其在二维平面上视觉特征较弱，单模态模型极易因缺乏三维信息而发生漏检。ADF-YOLO模型引入深度图像，为这些几何状态变化提供了空间梯度信息。同时，AMCS模块的引入有效扩大了感受野，增强了对微小目标空间特征的捕获能力，从而使本模型相较于次优模型分别获得了高达9.8%和9.3%的提升。

（2）对于工具、异物、零件和弹条丢失等具有明显三维凸出属性的不规则缺陷，A-GDFF模块的双模态融合机制能够同时捕获它们在可见光中的异常纹理和深度图像中的高度突变，其提升幅度也稳定在3.2%~4.1%之间。对于正常的扣件，由于其在2D图像中特征已足够明显，单模态检测已趋于饱和，因此提升相对平缓。整体而言，ADF-YOLO模型对于突破单模态算法在复杂背景和小目标缺陷检测上的瓶颈作用显著。

在验证集上对比ADF-YOLO模型与其他双模态模型在13类样本上的m_{AP@0.5：0.95}指标，结果见表5。

由表5可以看出以下结论。

（1）相较于次优模型，ADF-YOLO模型在宏观指标上获得了3.5%的提升，这表明本模型在进行双模态特征融合时具有更优的架构设计。

（2）针对零件、弹条丢失、垫板丢失和挡板丢失等包含复杂上下文信息的空间突变型缺陷，对比算法的特征融合方法容易导致可见光纹理与深度几何边缘产生语义错位。本模型通过A-GDFF模块促使异构特征在融合前向统一的物理状态靠拢，有效实现了可见光的高频细节与深度图的三维特征的精确对齐，使检测效果取得了进一步提升。

（3）针对螺帽丢失、螺帽松动和平垫圈丢失这3类小目标缺陷，ICAFusion与SLBAF-Net出现了严重的性能衰减，而本模型在上述3类缺陷上的检测精度分别达到47.3%，64.4%和46.4%。得益于AMCS和A-GDFF模块的引入，本模型在应对轨道场景中占比极低且易受背景干扰的小目标缺陷时，其检测性能优于ICAFusion和SLBAF-Net等多模态目标检测领域的代表性方法。

（4）针对垫板松动和挡板松动这类扁平状缺陷，其松动往往仅表现为二维平面上的轻微平移或错位，深度模态的梯度变化并不明显。A-GDFF模块强耦合的特征引导机制可能使深度特征对可见光特征产生了一定的语义稀释，导致相较于弱耦合的双模态对比模型略有衰退。

总体而言，ADF-YOLO模型在绝大多数扣件缺陷类别上均实现了跨模态特征的高效互补与增强，显著提升了轨道扣件缺陷检测的综合性能。

2.4.2　可视化对比

为了更加直观地展示本模型的优越性，在测试集上将ADF-YOLO模型和部分其他模型的检测结果进行可视化对比，结果如图6—图9所示。

从图6—图9可以看出：仅ADF-YOLO模型在4组图像中实现了对螺帽松动、丢失和平垫圈丢失这3类小目标缺陷的全检出；相比之下，对比模型普遍存在漏检或误检现象，特别是在平垫圈丢失这一小目标检测任务中，对比模型的漏检问题尤为严重，说明本文提出的AMCS模块可以有效提升模型对小尺寸缺陷的检测效果；同时，ADF-YOLO模型以较高的置信度检测出了4组图像中的所有缺陷，证明了A-GDFF模块可以有效融合双模态特征，约束不同模态之间的预测一致性，提高模型检测精度。

为验证模型在实际巡检场景中的鲁棒性，基于测试集构建了涵盖大面积阴影、强光过曝及水雾遮挡3种典型工况的模拟数据集，可视化对比分析结果如图10—图13所示。

从图10—图13可以看出以下结论。

（1）在大面积阴影干扰下，由于阴影边界强烈的光度梯度干扰，除YOLOXn-RGBD模型外，其余对比模型均将阴影边缘检测为异物或工具，而YOLOXn-RGBD模型则将阴影下的螺帽松动误检为丢失。

（2）在强光过曝场景下，单模态模型因可见光纹理严重退化导致弹条丢失和螺帽松动2种缺陷均漏检；双模态对比模型虽引入了深度信息，但由于缺乏有效的跨模态对齐机制，易受强光区域边缘高频噪声影响，同样出现了漏检的情况。相比之下，ADF-YOLO模型的A-GDFF模块利用深度图不受光照干扰的三维几何先验补偿受损的可见光特征，使模型在极端光照干扰下依然保持了极高的定位精度与判别能力，准确检测到所有缺陷。

（3）在水雾遮挡场景中，水雾形成了强烈的方向性条纹噪声与局部纹理畸变，掩盖了扣件真实的二维边缘，导致常规网络发生严重的特征提取混乱。所有对比模型均未检测到右上角扣件的平垫圈丢失缺陷，且部分模型同时出现了漏检扣件的情况。而ADF-YOLO模型通过AMCS模块扩大了感受野，跳出了局部条纹噪声的干扰；同时通过A-GDFF模块利用深度图几何先验作为强制约束，滤除了可见光分支的伪影噪声，成功检出所有缺陷。

尽管ADF-YOLO模型在绝大多数场景下展现出了优异的检测性能，但在面对极端的物理遮挡与环境伪装时，仍存在一定的局限性。为了客观评估本模型的适用边界，提取测试集中3个典型的失败案例进行分析，如图14所示。

从图14可以看出：第1个案例中，由于异物紧贴并覆盖扣件，模型将二者整体识别成了异物，在密集的空间重叠下，异物掩盖了扣件的纹理与三维几何特征，导致在特征提取过程中，两者的局部特征在同一感受野内发生了高度的空间耦合，网络倾向于利用视觉显著性更强的异物特征主导类别判定，从而导致复合目标被单一化归类的误判；第2个案例中，正常挡板因泥浆覆盖被误检为丢失；第3个案例中，左侧扣件因泥浆覆盖遮挡导致漏检，因为泥浆抹除了可见光图像的边缘与纹理，同时填平了扣件原本的三维空间结构，导致深度传感器无法捕捉其有效几何形态，在此极端工况下，可见光与深度信息同时发生语义欺骗与结构坍塌，最终引发误检与漏检。

2.5　消融试验

在进行消融试验以验证所提各模块的有效性时，基准融合方式的选择至关重要，常见的多模态特征融合方式包括特征图拼接、相加和相乘。以YOLOv8n为基准模型，对比上述3种融合方式的检测性能，结果见表6。

由表6可知：采用特征图相乘策略时，模型的m_{AP@0.5：0.95}指标显著优于相加和拼接，这是因为轨道扣件属于刚体结构，其缺陷在可见光图像与深度图中具有严格的空间位置一致性；从特征图相乘算法机理上看，只有当可见光与深度特征在同一空间位置均产生高响应时，融合后的特征才会被激活；反之，若某一模态在背景区域产生了独有噪声，另一模态的低响应可有效抑制该干扰；相比之下，相加或拼接易将单模态噪声无条件传递至下游网络。因此，选用更为稳健的特征图相乘策略作为基准融合方式。

随后，为系统评估AMCS模块和A-GDFF模块对ADF-YOLO模型的具体贡献，在试验条件不变的前提下设计4组消融试验，分别验证各改进模块的有效性。试验时，模型的输入均为可见光图像和深度图像，基准模型采用多模态融合方式为特征图相乘的YOLOv8n模型，试验结果见表7。

从表7中可以得到如下结论。

（1）在基准模型的双流骨干网络中引入了AMCS模块，对比基准模型m_AP@0.5-0.95提升了3.1%。

（2）将基准模型的多模态融合方式由特征图相乘替换为A-GDFF模块，对比基准模型m_{AP@0.5：0.95}提升了3.9%。证明了与简单融合方法相比，A-GDFF模块基于注意力引导和卷积金字塔的融合机制可以更有效地融合双模态特征，促进双模态信息交互，提高模型检测效果。

（3）在基准模型中同时引入AMCS模块和A-GDFF模块，得到最终的ADF-YOLO模型。与基准模型相比，改进后模型的m_{AP@0.5：0.95}提升了5.2%，其他指标也有明显提升，证明本文提出的2个模块可以提高模型在扣件缺陷检测任务上的精度。

此外，为证明AMCS模块针对小目标的优化效果，对比了基准模型在引入AMCS模块前后，螺帽松动、螺帽丢失和平垫圈丢失这3类小目标缺陷的m_{AP@0.5：0.95}指标，结果见表8。由表8可知：引入AMCS模块后，模型针对3类缺陷的检测指标均有明显提升，证明了该模块可以有效提高模型对小目标的检测精度，进而提高模型整体的检测效果。

最后，为验证CAA模块和FEM模块对AMCS模块的贡献，以引入A-GDFF模块的YOLOv8n模型为基准模型，对AMCS模块进行消融试验，结果见表9。

由表9可知：在添加FEM层后，模型在验证集上的m_{AP@0.5：0.95}提高了0.8%；在添加FEM层的基础上，以并行的方式添加CAA层，与Baseline相比模型的m_{AP@0.5：0.95}提高了1.3%。消融试验结果表明CAA层和FEM层的协同作用优化了模型的检测效果。

3 结论与展望

（1）提出的基于ADF-YOLO模型的检测方法，通过双流骨干网络结构并行提取可见光特征和深度特征，创新性地引入注意力与多分支卷积协同模块以增强模型对小尺寸缺陷的检测效果，引入注意力引导的双模态特征融合模块以实现对双模态特征的高效融合。

（2）采用提出的检测方法对扣件缺陷尤其是对平垫圈丢失、螺帽松动等小尺寸缺陷的检测效果提升明显。在扣件缺陷多模态数据集上，ADF-YOLO模型在交并比阈值为0.5时平均精度均值达到了90.9%，在交并比阈值为0.5至0.95时平均精度均值达到了70.5%，与当前主流的单模态和双模态模型相比均具有显著优势，为铁路系统的智能化巡检提供了一种可靠的技术方案，对提高铁路运维效率，保障行车安全具有重要意义。

（3）然而，本研究数据集主要采集于实验室环境，实际线路场景中复杂的光线、天气和背景干扰以及多样化扣件类型可能对模型的性能带来挑战。针对上述局限，未来的研究将从数据域泛化、模型架构优化与在线持续学习3个维度持续推进。首先，构建涵盖典型气象场景、多种扣件型号的大规模、多模态真实线路数据集，通过丰富数据提升模型的鲁棒性；其次，引入多帧图像联合分析机制，弥补单帧图像在极端物理遮挡情况下的信息缺失；最后，引入增量学习机制，使模型能够在实际巡检任务中随现场巡检数据的积累进行持续自适应更新与优化。通过上述多维度的迭代优化，使模型更好地支撑全天候、全场景的轨道智能巡检工程应用。

参考文献

[1] Qin Yong， Cao Zhiwei， Sun Yongfu， et al. Research on active safety methodologies for intelligent railway systems［J］. Engineering， 2023， 27： 266-279.

[2] Ren Shaoqing， He Kaiming， Girshick R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.

[3] He Kaiming， Gkioxari G， Dollár P， et al. Mask R-CNN［C］//2017 IEEE International Conference on Computer Vision （ICCV）， October 22-29， 2017， Venice， Italy. New York： IEEE Press， 2017： 2980-2988.

[4] 梁楠，张伟，刘洋龙，等.基于改进Faster R-CNN的高铁扣件弹条缺陷检测［J］.太赫兹科学与电子信息学报，2024，22（11）：1221-1227，1269.

[5] Liang Nan， Zhang Wei， Liu Yanglong， et al. Fastener clips defect detection based on improved faster R-CNN in high-speed railway［J］. Journal of Terahertz Science and Electronic Information Technology， 2024， 22（11）： 1221-1227， 1269.

[6] 黄午祥.基于深度学习的铁轨表面缺陷检测技术研究［D］.武汉：湖北工业大学，2023.

[7] Huang Wuxiang. Research on rail surface defect detection technology based on deep learning［D］.Wuhan： Hubei University of Technology， 2023.

[8] 许贵阳，李金洋，白堂博，等.基于改进Mask R-CNN的轨道扣件状态检测方法［J］.中国铁道科学，2022，43（1）：44-51.

[9] Xu Guiyang， Li Jinyang， Bai Tangbo， et al. Detection method of track fastener state based on improved mask R-CNN［J］. China Railway Science， 2022， 43（1）： 44-51.

[10] 陈修忻.基于改进YOLOv5s算法的钢轨扣件状态检测方法［J］.城市轨道交通研究，2024，27（）：147-151.

[11] Chen Xiuxin. Rail fastener status detection method based on improved YOLOv5s algorithm［J］. Urban Mass Transit， 2024， 27（S1）： 147-151.

[12] 吴送英，刘林芽，江家明，等.复杂背景下铁路扣件的改进YOLOv5s检测算法［J］.中国铁道科学，2023，44（3）：53-63.

[13] Wu Songying， Liu Linya， Jiang Jiaming， et al. Detection algorithm of improved YOLOv5s of railway fastener under complex background［J］. China Railway Science， 2023， 44（3）： 53-63.

[14] 武福，蒋鹏民，李忠学，等.基于轻量化YOLOv8s的轨道扣件状态检测方法［J］.北京交通大学学报，2024，48（5）：59-68.

[15] Wu Fu， Jiang Pengmin， Li Zhongxue， et al. Lightweight detection method for track fastener status based on improved YOLOv8s［J］. Journal of Beijing Jiaotong University， 2024， 48（5）： 59-68.

[16] He Jin， Wang Wei， Lv Fengmao， et al. Multi-scale CNN-transformer hybrid network for rail fastener defect detection［J］. IEEE Transactions on Intelligent Transportation Systems， 2025， 26（6）： 8894-8906.

[17] Gómez-Chova L， Tuia D， Moser G， et al. Multimodal classification of remote sensing images： a review and future directions［J］. Proceedings of the IEEE， 2015， 103（9）： 1560-1584.

[18] Gao Yang， Cao Zhiwei， Qin Yong， et al. Railway fastener anomaly detection via multisensor fusion and self-driven loss reweighting［J］. IEEE Sensors Journal， 2024， 24（2）： 1812-1825.

[19] Wang Jingpeng， Song Kechen， Zhang Defu， et al. Collaborative learning attention network based on rgb image and depth image for surface defect inspection of no-service rail［J］. IEEE/ASME Transactions on Mechatronics， 2022， 27（6）： 4874-4884.

[20] Ge Xuanyu， Cao Zhiwei， Qin Yong， et al. An anomaly detection method for railway track using semisupervised learning and vision-lidar decision fusion［J］. IEEE Transactions on Instrumentation and Measurement， 2024， 73： 5023215.

[21] 陈仕涛.基于多传感器信息融合的轨道异物检测研究与实现［D］.南京：南京邮电大学，2023.

[22] Chen Shitao. Research and implementation of track abnormal object detection based on multi-sensor information Fusion［D］. Nanjing： Nanjing University of Posts and Telecommunications， 2023.

[23] 赵宏伟，郑嘉俊，赵鑫欣，等.基于双模态深度学习的钢轨表面缺陷检测方法［J］.计算机工程与应用，2023，59（7）：285-293.

[24] Zhao Hongwei， Zheng Jiajun， Zhao Xinxin， et al. Rail surface defect method based on bimodal-modal deep learning［J］. Computer Engineering and Applications， 2023， 59（7）： 285-293.

[25] 孙铁强，魏光辉，宋超，等.基于YOLO的多模态钢轨表面缺陷检测方法［J］.电子测量技术，2024，47（21）：72-81.

[26] Sun Tieqiang， Wei Guanghui， Song Chao， et al. Multi-modal rail surface defect detection method based on YOLO［J］. Electronic Measurement Technology， 2024， 47（21）： 72-81.

[27] Cai Xinhao， Lai Qiuxia， Wang Yuwei， et al. Poly Kernel Inception Network for Remote Sensing Detection［C］//2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， June 17-21， 2024， Seattle， WA， USA. New York： IEEE Press， 2024： 27706-27716.

[28] Zhang Yin， Ye Mu， Zhu Guiyi， et al. FFCA-YOLO for small object detection in remote sensing images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2024， 62： 5611215.

[29] Hu Jie， Shen Li， Sun Gang. Squeeze-and-excitation networks［C］//2018 IEEE/CVF IEEE Conference on Computer Vision and Pattern Recognition， June 18-22， 2018， Salt Lake City， UT， USA. New York： IEEE Press， 2018： 7132-7141.

[30] Jocher G. Ultralytics［CP/OL］//（2025-04-01）［2025-08-15］：

[31] Wan Dahang， Lu Rongsheng， Fang Yang， et al. YOLOv11-RGBT： towards a comprehensive single-stage multispectral object detection framework［EB/OL］. （2025-06-18）.

[32] Shen Jifeng， Chen Yifei， Liu Yue， et al. ICAFusion： iterative cross-attention guided feature fusion for multispectral object detection［J］. Pattern Recognition， 2024， 145： 109913.

[33] Cheng Xiaolong， Geng Keke， Wang Ziwei， et al. SLBAF-Net： super-lightweight bimodal adaptive fusion network for UAV detection in low recognition environment［J］. Multimedia Tools and Applications， 2023， 82（30）： 47773-47792.

基金资助

先进轨道交通自主运行全国重点实验室自主课题(RAO2025ZR001)

北京市自然科学基金资助项目(L241078)

国家资助博士后研究人员计划项目(GZC20251118)