多模态深度学习在钢轨顶面伤损检测中的应用研究综述

Review of the Applied Research on Multimodal Deep Learning in Rail Top Surface Defect Detection

摘要

针对基于深度学习的多模态钢轨顶面伤损检测问题，分析使用多模态数据进行病害识别的优势，阐述多模态深度学习的最新成果及其在钢轨顶面伤损检测中的应用，并明确基于深度学习的多模态病害检测面临的挑战和未来的研究方向。从多模态联合与协同特征表示、多模态显式对齐与隐式对齐以及不同方式的多模态融合方法等方面分析多模态深度学习基本理论和研究现状；结合钢轨振动信号、巡检图像和三维点云等多模态数据，梳理当前最新的基于深度学习的不同模态间数据融合算法和病害检测方法。结果表明：针对钢轨多模态数据，当前研究方向主要有多模态表示、多模态对齐和多模态融合3种与识别检测有关的方法；针对基于深度学习的多模态钢轨顶面伤损检测，当前研究主要包含振动信号与巡检图像融合检测、灰度图像数据与三维点云数据融合检测方法；总体上，使用多模态深度学习技术对钢轨进行病害识别能有效提高准确率，在一定程度上排除错检的情况。对钢轨的多模态数据基于增强语义的共享性和互补性学习特征表示、结合特征点对齐和隐式对齐的混合对齐模型、基于转换器网络的多模态融合检测以及缺失模态融合检测会成为钢轨顶面伤损检测未来研究方向，将为工程应用提供有价值的参考。

Abstract

This article analyzes the advantages of using multimodal data for disease identification in the detection of rail top surface damage based on deep learning. It comprehensively elaborates on the latest achievements of multimodal deep learning and their application in rail top surface damage detection, while clarifying the challenges and future research directions faced by multimodal disease detection based on deep learning. Firstly, the basic theory and research status of multimodal deep learning are analyzed from perspectives such as multimodal joint and collaborative feature representation, multimodal explicit alignment and implicit alignment, and different methods of multimodal fusion. This paper provides a detailed overview of the latest deep learning-based data fusion algorithms and disease detection methods between different modalities, based on multimodal data such as rail vibration signals, inspection images, and 3D point clouds. The research analysis shows that for multimodal data of steel rails, current research mainly includes three methods related to identification and detection: multimodal representation, multimodal alignment, and multimodal fusion. Current research on multimodal rail top damage detection based on deep learning mainly includes fusion detection of vibration signals and inspection images, as well as fusion detection methods of grayscale image data and 3D point cloud data. Overall, using multimodal deep learning techniques for rail defect identification can effectively enhance accuracy, to a certain extent, eliminate false positives. In the future, learning feature representations based on enhanced semantic sharing and complementarity for multimodal data of steel rails, hybrid alignment models combining feature point alignment and implicit alignment, transformer-based multimodal fusion detection, and missing modal fusion detection will become key research areas for rail top damage detection, providing valuable references for engineering applications.

Graphical abstract

关键词

钢轨 / 病害识别 / 伤损检测 / 深度学习 / 多模态融合 / 综述

Key words

Railway infrastructure / Disease identification / Defect detection / Deep learning / Multimodal fusion / Review

随着铁路建设的蓬勃发展，铁路线路的动态检测日益凸显其关键性地位。钢轨作为铁路系统的核心部件，在长期服役过程中，其表面状态的细微变化能够显著影响轮轨间的相互作用，进而诱发诸如钢轨表面擦伤、剥离掉块、波浪磨耗等多种形式的伤损^［1］。这些伤损的累积若未能及时发现并修复，将严重威胁铁路运营安全，因此，高效准确的钢轨顶面伤损检测意义重大。

近几年，随着传感器技术和数据分析技术的发展，钢轨状态的检测由依赖效率低下且成本高昂的人工巡检^［2］逐步转化为带人工监督的自动化巡检方式。面对日益庞大的数据采集需求，更具智能化的检测技术逐渐成为行业发展的主流趋势。在此背景下，深度学习凭借其强大的数据驱动能力，在图像识别、自然语言处理等领域取得了显著成就，展现出卓越的适应性，并逐渐被引入到钢轨顶面伤损检测领域^［3］。深度学习技术的端到端特性，使其能够直接从原始数据中自动提取特征，无须人工设计复杂特征工程，极大地提升了病害识别的效率和准确性。

当前，基于深度学习的钢轨顶面伤损检测方法主要分为2类：一类是基于计算机视觉的检测方法，该类方法通过搭载于动态检测车上的高清成像设备获取钢轨图像，随后利用深度学习算法对这些图像进行智能分析、快速定位并识别潜在病害，辅以人工复核以确认诊断结果^［4-6］；另一类是基于振动信号的检测方法，该类方法聚焦于轴箱、车体、构架加速度等振动信号的特征提取与分析，通过解析这些信号中的振动响应，精准定位轮轨冲击点，并据此评估钢轨表面伤损的严重程度^［7-8］。此外，随着三维传感器技术的发展，部分研究还探索了基于三维视觉的钢轨顶面伤损检测方法，进一步丰富了钢轨状态检测手段。

然而，之前的研究主要聚焦于单一模态数据的处理分析，单一模态数据在某些情况下无法提供足够的信息来准确识别和分类钢轨顶面伤损检测。例如，图像数据对于伤损和污渍无法精确区分，加速度数据只能获取冲击的位置，但是不能查看是由哪种伤损造成的。不同模态数据可以捕捉到钢轨的不同特征，多模态数据通过互补，提高检测的精度和可靠性。例如，图像数据可以提供钢轨的视觉信息，而点云数据可以提供钢轨的三维深度信息。同时，随着传感器技术和数据处理技术的飞速发展，多模态检测技术在如自动驾驶、自然语言处理等领域的应用日臻成熟。因此，基于多模态深度学习的钢轨顶面伤损检测将成为未来研究和应用的趋势。

深度学习通过构建多层神经网络，能够从大量数据中自动学习出特征并进行表示，在多模态数据融合和特征提取方面展现出强大能力。在钢轨顶面伤损检测中引入多模态深度学习的关键在于如何有效地结合来自不同模态的数据，以便增强模型的表现力和准确性。针对多模态数据，深度学习通过有效的特征提取和特征融合策略（早期融合、中间融合和晚期融合）进行联合学习，实现对钢轨顶面伤损的检测。

多模态深度学习的核心和目标是通过整合不同模态的信息源，克服单模态数据可能存在的不足之处，联合学习多个模态的数据特征以提升模型的准确性和鲁棒性。对于钢轨顶面伤损检测而言，其目标是准确识别不同类型的伤损和污渍，并在多模态信息的支持下减少误报和漏报的发生。例如，通过融合图像和信号数据，模型可以利用信号中的异常来增强对图像中微弱伤损的检测，从而更准确地识别出钢轨伤损的具体类别及其位置。

本文聚焦于多模态深度学习在钢轨顶面伤损检测领域的最新进展，综述多模态深度学习的3个基本方面，从多模态深度学习在钢轨顶面伤损检测中的应用出发，总结现有研究中图像与振动信号、图像与三维点云的多模态深度学习的钢轨顶面伤损检测方法，分析发展现状和应用实例，探讨在多源数据特征表示、对齐以及融合中遇到的挑战；最后，展望多模态深度学习技术在钢轨顶面伤损检测中的发展趋势及应用前景，旨在为未来的研究和工程应用提供有价值的参考。

1 多模态表示

表示学习^［9］自动地从数据中学习到有效特征，提高深度学习模型的准确率。多模态表示学习旨在将来自不同模态的不同特征集成到1个共同的特征空间中^［10］，通过利用多模态数据之间的互补性，剔除冗余性，学习到更好的特征，用于进行后续任务。当前多模态表示学习的研究主要有联合表示和协同表示。

1.1　联合表示

联合表示旨在将多个单模态的特征信息映射到1个统一的多模态向量空间，在对单模态数据进行特征提取之后，将不同模态的特征通过算法连接成单个高维特征向量，用于下游任务。联合表示的表达式为

x_{\mathrm{m}}=f(x_{\mathrm{1}},x_{\mathrm{2}},\dots ,x_n)（1）

式中：x_{\mathrm{m}}为多模态表示；x_{\mathrm{1}}，x_{\mathrm{2}}，…，x_n为单模态表示；f为将单模态表示融合为多模态表示的算法函数。

联合表示示意图如图1所示。

根据深度神经网络的多层性质，每个连续层都可以使用更抽象的方式表示数据，每个模态从单独的几个神经层开始，经过1个隐藏层之后，将模态投影到联合空间^［11-17］。

Ngiam等^［18］结合深度神经网络和概率图模型的思想，使用深度信念网络（Deep Belief Networks，DBNs）和因子分析处理不同模态的数据，通过概率图模型使用潜在随机变量构建表示，使不同模态的数据可以共享信息，并且在共同的表示空间中进行学习。Srivastava等^［19］利用深度玻尔兹曼机（Deep Boltzmann Machines，DBM）对多模态数据进行表示学习，通过整合不同层次的特征获得多模态数据的整合表示，更好地反映了多模态数据的特征。但DBM模块训练难度大，训练成本高。

联合表示可以更方便地融合多种模态的信息，保留模态之间的语义信息，但在一定程度上会忽略每种模态的特定信息。因此，在优化目标中加入正则项有助于性能的提升^［20-22］。

1.2　协同表示

协同表示是多模态融合表示学习方法之一，负责将多模态中的每个模态映射到各自的表示空间。假设有V个模态，每种模态使用矩阵\mathit{X}(v)表示，其中v=\mathrm{1,2},\cdots ,V。协同表示的目标是最小化不同模态之间的重构误差，1个基本的协同表示模型可以用式（2）表示。

\underset{\mathit{Z}(v)}{\mathrm{m}\mathrm{i}\mathrm{n}}{{\displaystyle \sum _{v=\mathrm{1}}^V}‖\mathit{X}(v)-\sum _{u\ne v}\mathit{X}(v)\mathit{Z}(u,v)‖}_F^{\mathrm{2}}+\lambda {\displaystyle \sum _{v=\mathrm{1}}^V}\Omega (\mathit{Z}(v))（2）

式中：{‖·‖}_F为Frobenius范数；\mathit{Z}(u,v)为第u个模态对第v个模态的贡献权重；\mathit{Z}(v)为协同表示矩阵；\Omega (\mathit{Z}(v))为正则化函数；\lambda为正则化参数。

协同表示示意图如图2所示。图中：h（·）和g（·）为每个模态对应的投影函数。

基于模态之间相似性的协同表示模型称为相似性模型，主要目标是得到最小化协同空间中不同模态表示之间的距离^［23-24］。这种表示最早的例子来自Weston等^［25］开发的图像注释模型，该模型为图像和注释构建了一个协同空间，使图像及其对应的余弦距离小于图像和不对应的注释之间的距离，以完成图像和注释的对应。Frome等^［26］提出的深度可视化语义嵌入（Deep Visual-Semantic Embedding Model，DeVISE）模型，将图像和文本信息嵌入到1个共享的空间之中，学习图像和文本之间的语义关系，通过最大化正确标签的概率，达到最小化协同空间中不同模态信息间距离的目的。

基于相似性的模型并没有针对不同应用设置不同的约束条件，在相似性模型的基础上针对不同任务附加其他约束条件的模型称为结构化协同空间模型。Reed等^［27］提出了一种结构化协同空间模型，使用卷积神经网络（Convolutional Neural Network，CNN）对图像进行特征提取，使用循环神经网络（Rerrent Neural Network，RNN）对文本进行编码，然后将2种特征映射到共享的协同空间，通过最小化图像和文本之间的距离完成图像和文本的对应。

2 多模态对齐

深度学习多模态对齐分为显示对齐和隐式对齐。如果一个模型的目标是最大化多模态数据子元素的对齐程度，称为显式对齐。如果模型的最终目标不是对齐任务，对齐过程仅仅是某个中间步骤，则称为隐式对齐。

2.1　显式对齐

显式对齐的算法包括无监督对齐算法和有监督对齐算法。

无监督算法的训练数据没有确定的对齐标注，因此为了使给定的多模态数据完成对齐，模型需要同时学习相似度度量和对齐方式^［28-30］。Kim等^［31］利用生成对抗网络（Generative Adversarial Network，GAN），通过在2个模态之间学习共享的表示实现跨模态的对齐。Chung等^［32］提出一种无监督对齐框架，利用语音和文本数据的内在结构，通过最大化它们之间的相似性实现跨模态对齐。

有监督算法依赖于标记的对齐实例，使用对齐实例训练对齐模式的相似性度量。Zhu等^［33］通过CNN训练场景和文本之间的度量相似性，从而将书籍或剧本与其对应的电影对齐。Gebru等^［34］训练高斯混合模型，并与无监督的隐变量图模型一起进行半监督聚类，将音频和视频进行对齐。

2.2　隐式对齐

与显式对齐相反，隐式对齐通常是潜在的，是被包含在另一个任务的中间步骤，即模型的最终目标不是对模态的对齐，对齐过程仅仅是中间的一个步骤。隐式对齐的模型不依赖于有监督的对齐示例，而是学习如何在模型训练期间潜在地对齐数据，这使得此类模型在机器翻译^［35］、图片与句子对应^［36］、音频转文本^［37］等任务中获得良好的性能。

多模态隐式对齐通过神经网络模型自身的学习实现多源数据之间的对齐，其中，注意力机制是编解码器中重要的子组件，注意力模块可以传递给解码器需要关注的目标，与目标任务一起进行端到端的训练。例如，利用自注意力机制的查询和键进行对齐^［38］，采用门控双向网络实现对齐^［36］，多模态数据在交叉注意力模块实现对齐^［39］。通过共享特征表示空间，并学习到更为通用的对齐网络模型，从而提升模型在未见数据上的泛化能力。

3 多模态融合

多模态数据融合负责将多个模态的信息进行整合，有效地利用不同模态之间的互补性，剔除冗余性。多模态融合方法分为联合融合方法和模型级融合方法^［40］。

3.1　联合融合方法

联合融合方法可以分为早期融合^［41］、晚期融合^［42］和混合融合^［43-44］。3种融合方法示意图如图3所示。

早期融合方法又称为特征级融合，为了解决各模态中原始数据的不一致问题，可以从每个模态中分别提取特征的表示，然后在特征级别进行融合^［45-46］。Fang等^［47］提出了一种简单有效的跨模态特征融合方法，利用转换器（Transformer）网络同时执行模态内和模态间的融合，捕获彩色（Red Green Blue，RGB）和热红外领域之间的潜在相互作用，显著提高了多光谱目标检测的性能。Zhu等^［48］提出了多模态特征金字塔变换融合2种模态数据，实现不同尺度和不同模态的区域之间的高效关联。模态的相关性在特征层的提取难度很大，Hinton等^［49］认为必须经过高层次的抽象特征提取，才能使不同的数据流包含的信息之间存在高相关性。Martínez等^［50］指出，多模态数据的早期融合会导致重复信息的出现，加重数据的冗余性，不能充分利用模态间的互补性。

晚期融合方法又称为决策级融合，不同的深度学习模型先对不同模态的数据进行训练，再融合多个模型输出的结果。因为该方法的融合过程与特征无关，且来自多个模型的错误通常是不相关的，因此该融合方法比较受青睐。目前，晚期融合方法主要采用不同的规则确定不同模态输出结果的组合，最简单的是对输出结果进行加权处理，更高级的处理方式是采用贝叶斯融合规则、DS证据理论（Dempster-Shafer envidence theory）或集成学习等规则进行融合^［51-52］。Zhang等^［53］从生理信号中提取与情绪相关的特征，通过提出的均值阈值方法对2种模态的特征数据进行分类，使用决策融合方法融合2种不同模态的分类结果。Mehra等^［54］使用Swin Transformer网络对梅尔频谱图像（Mel Spectrogram）进行建模，为每个类别生成10个后验概率评分，将从2个不同通道获得的后验概率得分结合，完成决策融合。

混合融合方法具有早期融合和晚期融合各自的优点。Lan等^［55］提出的混合融合模型，自由地组合不同的早期融合和晚期融合技术，并且可以充分利用2种方法的优势。Alghowinem等^［56］将每个模态的训练结果连接到标准化低级特征融合而成的特征向量，然后进行模型预测，采用多数票表决法评估结果。Morales等^［57］将每个单模态系统的预测结果和早期融合的特征向量进行拼接，然后使用这些新的特征向量训练1个新的模型，以进行最终预测。Wang等^［58］提出了一种基于Transformer网络的多模态融合方法（TokenFusion），该方法可以自适应且有效地融合多个单模态Transformer网络，学习不同单模态特征之间的相关性。

3.2　模型级融合方法

基于模型的融合方法主要有基于核的方法^［59］、图模型^［60］和神经网络方法^［61］，如图4所示。

多核学习方法是对核支持向量机的扩展，允许对不同模态数据使用不同的核，有效针对数据集因为模态不同而带来的异构性，因此多核学习中特定于模态的内核可以更好地融合异构数据。Sikka等^［62］基于多核学习和支持向量机（Support Vector Machines，SVM）分类，提出了一种不受约束的环境中自动检测情绪方法，完成情绪识别任务。Jaques等^［63］提出多任务多核学习，有效地组合来自多模态的数据，成功应用于模拟学生幸福感问题。

图模型是另外一种流行的多模态融合方法，可以分为2大类：生成模型联合概率和判别条件概率建模。早期的图模型集中在生成模型，试图对输入和输出的联合概率分布进行建模^［64］，之后的研究中判别模型更受欢迎。例如视听语音识别（Audio-Visual Speech Recognition，AVSR）^［65］和多模态情感识别任务。

神经网络方法是目前在多模态融合方面应用最广泛的方法之一。深度网络中的不同模态特征向量融合方式主要有拼接、按位乘、按位加、双线性池化、编码器和基于注意力等机制。Fan等^［66］将文本特征和音频特征串联送入全连接层对多模态特征进行融合。Yin等^［67］使用双向长短期记忆网络（Bi-directional Long Short-Term Memory，BiLSTM）对3种模态进行集成，通过隐藏状态和置信度得分加权得到对应的融合特征。Schneider等^［68］提出一种基于编码器的文本到音乐的生成方法，使用文本编码器以及两阶段扩散模型实时生成高质量的立体声音乐。Ji等^［69］提出语音-视频联合驱动的3D人脸动画生成方法，编码器生成的语音特征被输入到表情姿势网络中进行特征融合，并使用解码器重建为3D人脸。

最近，基于注意力机制的融合被广泛使用，其中Transformer网络作为注意力机制的主要载体，在融合多种模态信息方面也有较好的性能。Jaegle等^［70］提出一种使用Transformer网络进行多模态融合的网络Perceiver，该网络在不改变模型结构的基础上可以处理图像、音频、视频、点云数据，并且在处理音频与视频的分类试验中取得了一定效果。在ViT（Vision Transformer）和BERT网络的推动下，Sun等^［71］提出视觉-语言模型VideoBERT用于联合学习视频和语言的高层特征，该模型被应用于视频描述动作分类等诸多任务。Huang等^［72］利用Transformer网络在模型级融合视频和音频模态进行情绪识别，多模态融合模块关注2个单个模块输出之间的交互，产生有效的多模态特征表示，以实现模型级融合。Zhang等^［73］提出基于Transformer网络的多模态信息融合面部表情分析框架，从视频片段中采集图像、音频和文本3种多模态信息，引入基于Transformer网络的融合模块集成静态视觉特征和动态多模态特征，实现高效预测。在图像与三维点云融合方面，Alaba等^［74］提出基于Transformer网络的优化多模态融合模型，用于自动驾驶中三维物体检测，结合具有自注意力和交叉注意力机制的变压器解码器网络，识别对象和编码器特征之间的全局交互以促进稳健和准确的检测。Zhou等^［75］提出ViT-FuseNet模型对车辆旁的三维物体检测，利用ViT网络融合从雷达和相机数据中提取特征图，其中交叉注意力机制是多模态融合模块的关键组件。

4 多模态融合在钢轨顶面病害识别中应用

在钢轨巡检系统中，通过加速度传感器获取的车辆运行时轴箱振动加速度数据，这种波形信号是一维时序信号。高清轨面相机在巡检车运行时拍到的高清轨面图像是巡检图像。多源传感器组成的三维结构光系统采集到的钢轨三维点云数据，是一种包含了空间信息的三维数据。图5为基于钢轨巡检系统采集的轴箱振动加速度信号、灰度图像和三维点云图像的多源异构数据，这些多模态数据被广泛应用于钢轨顶面伤损检测和识别。

随着多模态深度学习的发展，多模态表示、对齐和融合技术也开始被应用到钢轨病害检测和识别研究，从而克服基于单一模态进行目标识别检测的缺点。目前基于多模态融合的检测研究较少，主要有振动信号与巡检图像的融合检测和灰度图像与三维点云的融合检测。

4.1　振动信号与巡检图像融合检测

图像数据受外部环境因素的影响，不能较好地区分伤损与油渍、水渍，造成错检或漏检的情况。而振动信号缺乏对伤损的直观显示。将2者融合进行检测，可降低错检的情况，提高对钢轨顶面伤损检测的准确性。

Yang等^［76］提出了一种基于振动信号和巡检图像的融合检测模型，如图6所示。从图6可以看出：该检测方法首先采用改进的稀疏自编码器（ISAE）对振动信号进行特征提取；其次利用线性判别分析和支持向量分类器（LDA-SVC）对钢轨顶面病害进行降维诊断；然后，结合YOLOv5并基于巡检图像对病害进行定位和检测；最后，在决策层对多个单模态模型的输出结果进行加权求和，得到联合决策结果，提高了检测精度。

Shen等^［77］提出了多尺度特征融合网络（Multi-Scale Feature Dynamic Fusion Network，MFDF-Net），该网络同时使用振动信号和巡检图像数据识别钢轨顶面伤损状态，如图7所示。从图7可以看出：该模型将增强后的图像数据输入特征金字塔网络（Feature Pyramid Network，FPN）中进行特征提取，同时，将去噪处理后的振动信号输入振动多模态特征提取模块进行特征提取，MFDF-Net网络中将特征分为浅、中、深3个尺度，采用注意力机制强调不同尺度的特征并动态加权，最终对钢轨图像进行分类。通过安装光电编码器，保证振动信号和图像在时间和空间上的同步。利用巡检车收集的数据对模型进行评估，结果表明，与单模态钢轨顶面状态分析相比，融合网络有效地识别钢轨顶面状态，多模态融合提供了更高的精度和更好的鲁棒性。

针对振动信号与巡检图像融合检测任务中数据集与评价指标的对比见表1。表中：F₁分数为精确率和召回率的调和平均数。准确率表示模型成功预测的结果占总样本的百分比。由表1可知：基于图像与振动数据融合的钢轨顶面伤损检测任务文献数量较少，融合方法上主要为特征级融合和决策级融合，从模型的评价指标上看都取得了不错的效果。

4.2　灰度图像与三维点云融合检测

当钢轨缺陷的颜色和纹理与背景相似时，仅依赖于图像信息检测的结果往往不理想。由于伤损深度不同于常规表面，许多研究者引入了深度图进行检测。

Chen等^［78］设计了包含多源数据特征提取和多尺度特征融合2个主要网络的多源数据融合算法（Camera and Ultrasound Data Fusion，CUFuse），用于分别提取钢轨图像和超声扫描图像的特征信息并进行融合，对钢轨顶面状态进行分类，其网络模型如图8所示。从图8可以看出：该算法通过双边滤波、索贝尔（Sobel）边缘检测分割轨面区域，多源数据特征提取网络分别提取基于灰度图像和超声图像中轨面状态的信息，多尺度特征融合网络融合多源数据特征提取的不同尺度特征信息；最后，经全连接层预测出钢轨顶面状态的具体类型，即轻、中、重度伤损及正常钢轨母材和接头。

Wu等^［79］提出一种深度重复增强网络（Depth Repeated-Enhancement RGB Network，DRER-Net），通过反复利用RGB特征和深度特征信息进行多模态数据融合，改进了已有的钢轨顶面伤损检测技术。通过使用编码器-解码器架构能更好地检查轨道顶面的缺陷，设计一个CEFM（Cross-modality Enhancement Fusion Module）编码器，利用深度特征信息弥补RGB缺陷检测的不足，得到一个粗略的预测结果。在解码过程中，反复利用RGB特征和深度特征，逐步细化缺陷的位置和边界以改进分割结果。

Wang等^［80］提出一种钢轨RGB图像与深度图融合的网络（Depth-plus Region Fusion Network，DRFN）解决使用手机拍摄的钢轨图像磨损程度检测，该网络包括深度估计、图像分割和数据融合3个部分，模型如图9所示。从图9可以看出：首先，该网络利用改进的MiDaS深度模型估计的深度图作为指导，充分提取光带的深度信息；其次，基于改进的Mask-RCNN对钢轨光带图像进行分割和提取，改进检测锚框的长宽比例，以适应铁路场景中的目标轨道检测；最后，提出了一种数据融合方法，通过自适应融合模块集成了提取的深度和形状特征，构建了钢轨磨损分类的双通道注意力融合网络，同时加入了其他与钢轨磨损相关的特征向量共同进行钢轨磨损检测。

为便于在计算资源有限的移动设备上应用，Zhou等^［81］提出了一种轻型特征分层探测网络（Lightweight Feature Hierarchical Exploration Network，FHENet），由边界提取模块、跨模态探测模块和多特征集成模块组成，用于实时检测钢轨顶面缺陷。首先，在边界提取模块中基于最大值函数和最大池化方法获取轨面缺陷的边界纹理，在避免大量计算的同时提高边界预测精度；其次，跨模态探测模块和多特征集成模块对深度特征信息和边界纹理特征信息进行融合。该策略采用加法和串联方式进行分层处理，在兼顾细节特征不丢失的同时简化了计算。

Zhang等^［82］提出了一种强度和深度模态双输入的2阶段融合铁路顶面缺陷检测算法，其网络模型如图10所示。从图10可以看出：该算法设计了一种同时使用特征级融合和决策级融合的检测方案，使用可变形残差网络和标准残差网络对强度图和深度图分别进行不同尺度的特征提取，对底层、中层和高层特征进行特征级融合，在特征金字塔网络中用自上而下的路径融合策略，将高层的语义信息注入低层特征中，使低层特征既保留细节，又具有更强的语义表达能力。该方法在有效性和鲁棒性分析方面取得了优异效果。

Yang等^［83］将RGB和深度信息相结合，提出一个双向特征对齐的融合网络（Contour and Semantic Feature Alignment Fusion Network，CSANet），从轮廓和语义2个角度探索跨模态特征的内部一致性。首先，设计邻接轮廓特征提取模块，从相邻的低层次特征中提取细节轮廓信息；其次，提出注意力感知图形卷积单元，捕获全局远程依赖关系并提取高级语义特征。利用双向对齐机制，探索双峰特征之间轮廓和语义的内部一致性。

利用RGB和深度图的互补性可提高检测性能，但现有的方法主要依赖于监督的训练策略，这需要大量手工标注的像素级标签监督模型训练，费时费力。Wang等^［84］提出了一种多尺度和跨模态互补融合的半监督网络（Dilated Semantic Segmentation Network，DSSNet），在减轻标注负担的同时获得满意的检测性能，其网络模型如图11所示。图中：f₀，f₁，f₂，f₃和f_{\mathrm{0}}^{\mathrm{\text{'}}}，f_{\mathrm{1}}^{\mathrm{\text{'}}}，f_{\mathrm{2}}^{\mathrm{\text{'}}}，f_{\mathrm{3}}^{\mathrm{\text{'}}}分别为计算前和计算后的融合特征；E_out1和E_out2为编码器的输出；M_out1，M_out2和M_out为编码器的融合特征恢复分辨率后生成的多个预测结果。从图11可以看出：网格中DMCFM模块有效地进行多尺度特征探索和互补融合，同时减轻了卷积运算带来的局部连通性。综合试验表明，DSSNet有效减轻80%标注负担，在对伤损部分进行分割时，有效对无标签的图像进行分割，使得轨面伤损检测更高效。

图像与三维点云特征级融合检测试验对比见表2。表中：准确率表示模型成功预测的结果占总样本的百分比；平均精度均值用于评估模型性能的一种综合指标，它基于不同类别下的平均精度的算术平均值计算得出，反映了模型在识别各类别目标时的整体准确度；平均绝对误差表示预测值与真实值之间的绝对差值的平均数，值越小表明预测的越准确。由表2可知：当前针对钢轨表面伤损的检测的数据主要有灰度图像与探伤图像融合，灰度图像与深度图像融合等方式，训练的检测模型评价指标涵盖准确率、平均精度以及平均绝对误差等，灰度图像与探伤图像融合因其具有同步位置戳并且共享相同的样本标签，准确率达到96.97%。研究表明，多模态数据（如灰度图、深度图和RGB-D图像）的融合成为提升检测性能的关键趋势，通过对多个文献的性能比较可以看出，基于标准化数据集（如NEU RSDSDAUG数据集）的模型性能不断优化，体现了算法对小目标细节捕捉能力的提升。这些研究为未来在实际铁路场景中实现高精度、多尺度的钢轨表面检测提供了重要参考。

5 多模态技术在钢轨顶面伤损检测的挑战及展望

多模态铁路病害识别在提高检测精度和可靠性方面具有巨大潜力，但也面临着诸多挑战。从钢轨多模态数据特征表示、数据对齐和融合模型3个方面进行探讨，分析当前多模态钢轨顶面病害识别工作的难点并展望未来的发展方向。

5.1　特征表示

目前对轴箱振动加速度信号、高清轨面图像和钢轨三维点云数据都有比较成熟的特征提取方法。对振动信号特征提取有多种方法：传统的信号处理方法，如傅里叶变换、变分模态分解和小波变换等；深度神经网络方法，如循环神经网络、一维卷积网络和长短期记忆网络等；模态转换方法，将加速度信号转换为图像（如格拉姆角场）再进行特征提取。对灰度图像的特征提取采用BoTNet50，特征金字塔等骨干网络。对三维点云数据提取采用Pointnet++等网络。现有研究对钢轨巡检系统采集的多模态数据大多进行联合表示学习，使用不同类型的深度学习骨干网络对轴箱加速度信号、高清轨面图像和钢轨三维点云等数据进行单模态的特征提取，再将不同模态的特征连接成单个高维向量，进行特征表示。联合表示学习方式简单易操作，完成了语义的共享，但是语义的互补性欠缺。研究有效的特征表示方法是当前多模态铁路病害识别的基础工作，可以从以下方向开展研究。

（1）多模态特征提取算法的适配性研究。如何从系统优化的角度，使单模态特征提取从各自众多算法中选择适当的提取算法，达到高效的多模态联合表示，需要对多模态特征提取算法的适配性进行探索研究。

（2）语义互补的联合特征表示研究。振动信号可以反映钢轨在列车运行时的动态特性，巡检图像数据可以提供钢轨顶面的视觉信息，三维点云数据可以提供钢轨的空间结构信息。不同模态数据有各自的优势和局限，也具有互补性。在图像检测、信号分类、三维点云检测等任务中，基于Transformer网络的模型因具有较少的特定于模态的假设，能有效地适用于不同模态的任务，以充分提取特征，从而对不同模态数据进行表征。研究在联合表示学习进行语义共享的同时，利用协同学习方法完成语义互补性的特征表示算法，对提升病害识别的准确性和可靠性，特别是可解释性具有重要意义。

5.2　数据对齐

现有研究的数据对齐方式是依靠光电编码器，光电编码器产生触发信号，控制视觉系统的采集，并将采集到的振动信号与触发信号同步，保证每个振动和图像在时间和空间上同步。当前钢轨状态日常检测数据主要有振动加速度信号、图像和三维点云图像数据。在采集的过程中，检测车的定位精度受车体运行状态、车载定位设备精度等多种因素影响，动态检测数据的里程误差会沿整条线路分布，并且随着里程增大存在误差累积的情况^［85］。

钢轨状态检测数据主要采用等时间和等距离采样数据2类，其中，图像和三维点云数据均为等距离采样数据，振动加速度数据为等时间采样数据，2类数据分别具有时间或者空间索引，误差可达数米，若进行多模态融合检测，需要进行较为精准的数据对齐，然而，2类数据的采集原理和架构相差较大，检测数据关联索引时的误差差异较大，采用单一的时间戳或者空间里程信息，在钢轨状态高速动态检测场景下，无法保证2类数据较好对齐。

为解决不同模态采样数据因采样触发模式、采样间隔不一致导致的数据难以对齐的问题，可以从以下方向开展研究。

（1）时空二元传感器数据源对齐。针对当前的动态检测数据，主要分为基于时间采样和基于空间采样的数据，2种采样方式采集的数据需要进行对齐，因此从传感器的角度，研究时空二元的检测数据精准对齐方法，设计基于动态检测载体的距离脉冲和精确时间戳信息的传感器级时空信息同步架构，可为检测数据的多模态对齐提供易用数据源。

（2）基于特征点的显式对齐。巡检图像在轨缝、绝缘接头等位置具有明显的视觉特征，通过设计基于深度学习的目标检测算法，可以从图像中识别出上述特征位置。类似地，接头部位的振动数据特征，可以通过设计时频分析算法得到，从振动数据中识别出上述特征位置。基于优化方法或模式匹配，将图像特征位置与振动数据特征位置进行对齐，同时结合先验数据进行里程修正，对提升多模态数据对齐精度具有重要作用。

（3）基于自监督等方法的隐式对齐。完全使用特征点对齐的方法，需要人工对图像和振动信号的特征进行标注，工作量巨大。可以利用显式对齐模型，将图像和信号的显著特征点在全局范围初步对齐。在2个轨缝间的局部范围，再设计自监督机制或基于注意力机制等方法的隐式对齐模型，通过自身学习实现不同模态数据之间的信息关联，进一步完成局部对齐，提高对齐精度。

5.3　融合检测

现有基于多模态融合的钢轨顶面伤损检测研究，主要集中在基于最常见的灰度图像和振动信号融合，方法主要有决策级融合和特征级融合。决策级融合分别通过灰度图像和振动信号各自进行识别后，在决策层对多个单模态模型的输出结果进行加权求和，得到联合决策结果。特征级融合方法主要利用联合特征学习后进行融合检测，算法简易，但是语义缺乏互补性。现有方法一定程度上提高了检测精度，但是对污损、锈蚀、水渍油污等的误判效果有限。

未来的多模态融合可以从以下方面开展研究。

（1）基于学习反馈的决策级融合。目前采用分别通过灰度图像和振动信号各进行病害识别，在决策层对2个单模态模型的输出结果进行加权求和，得到联合决策结果。后续可以进一步改进单纯的最后决策机制，通过增加一些反馈机制，增加决策的可学习性，减少对污损、锈蚀、水渍油污等的误判，增加可解释性。

（2）互补的特征级融合。每种模态数据进行特征表示后，鉴于特征之间的联系和互补性进行融合。融合方法具有多样性，例如，级联、交叉注意力机制和基于Transformer网络的编码器等，对于融合特征进行检测或分类任务。

（3）加入先验知识的多模态融合。经过多年的积累，研究人员在钢轨顶面伤损检测中具有丰富的经验知识，为模型加入人为设计的先验信息会让模型学习到一些关键的特征，再结合当前先进的Transformer网络多模态融合技术，设计多模态融合的检测模型提升病害检测的准确率将成为未来研究和应用的趋势。

（4）数据缺失的多模态融合。在缺少某种模态数据的情况下继续进行钢轨顶面伤损检测。探索钢轨缺失模态合成方法，通过对现有钢轨全模态数据集分析，重构或合成缺失模态信息，然后将合成信息与原有信息共同送入后续模型检测，实现模态缺失情况下钢轨顶面伤损检测。

6 结语

在钢轨顶面伤损检测方面，针对复杂多变的检测环境所获取的多种模态数据，综述了多模态表示、对齐及融合技术等前沿研究内容，探讨了多模态深度学习技术的综合应用策略，并且通过对钢轨多模态数据的深度剖析，为钢轨顶面病害的更高效、更精准检测提供方向。在实际应用场景中，模态融合检测技术已初显成效，联合融合和模型级融合相关方法为多模态数据在不同阶段融合提供了新的思路。

然而，由于不同模态数据在采集机制、数据结构及特征表达层面的本质差异，因此多模态技术框架迁移至轨面病害识别领域尚存挑战。同时，多模态钢轨顶面伤损检测方法方面也面临多重挑战，主要包括特征表示的高效性、数据对齐的精确性以及融合算法在准确性、实时性和鲁棒性方面的持续优化需求。为此，未来的研究工作应聚焦于2大核心方向：一是针对钢轨多模态检测的数据，开发更为高效、智能的多源数据融合算法框架，提升计算效率和融合效果，应对大规模、高维数据的处理挑战；二是深入挖掘钢轨多模态数据之间的内在联系和互补优势，通过跨模态学习和特征增强技术，实现检测性能的有效提升，为钢轨顶面伤损检测带来更为精准、全面的解决方案。

参考文献

[1] 牛道安，曲建军，杨飞，等.轨道检测大数据在线路设备工务养护维修中的运用［J］.中国铁路，2022（11）：8-15.

[2] NIU Daoan， QU Jianjun， YANG Fei， et al. Application of Track Inspection Big Data of Track Inspection in Track Maintenance and Repair ［J］. China Railway， 2022 （11）： 8-15. in Chinese

[3] 赵宏伟，郑嘉俊，赵鑫欣，等.基于双模态深度学习的钢轨表面缺陷检测方法［J］.计算机工程与应用，2023，59（7）：285-293.

[4] ZHAO Hongwei， ZHENG Jiajun， ZHAO Xinxin， et al. Rail Surface Defect Detection Method Based on BiModal Deep Learning ［J］. Computer Engineering and Applications， 2023， 59 （7）： 285-293. in Chinese

[5] 郭昊，万天义，于潇，等.基于神经网络融合模型的铁路接触网异物智能检测［J］.铁路计算机应用，2024，33（7）：1-6.

[6] GUO Hao， WAN Tianyi， YU Xiao， et al. Intelligent Detection of Foreign Objects in Railway Catenary Based on Neural Network Fusion Model ［J］. Railway Computer Application， 2024， 33 （7）： 1-6. in Chinese

[7] 丁要男.钢轨表面缺陷图像分割关键技术研究［D］.南昌：华东交通大学，2022.

[8] DING Yaonan. Research on Key Technologies for Rail Surface Defect Image Segmentation ［D］. Nanchang： East China Jiaotong University， 2022. in Chinese

[9] 郭继承.基于深度学习的钢轨表面缺陷自动巡检系统研究［D］.兰州：兰州交通大学，2023.

[10] GUO Jicheng. Research on Automatic Inspection System of Rail Surface Defects Based on Deep Learning ［D］. Lanzhou： Lanzhou Jiaotong University， 2023. in Chinese

[11] BAI T B， GAO J L， YANG J W， et al. A Study on Railway Surface Defects Detection Based on Machine Vision ［J］. Entropy， 2021， 23 （11）： 1437.

[12] ZHENG S B， ZHONG Q W， CHEN X Q， et al. The Rail Surface Defects Recognition via Operating Service Rail Vehicle Vibrations ［J］. Machines， 2022， 10 （9）： 796.

[13] 孙秀秀.基于深度学习的高铁钢轨波磨检测的研究［D］.北京：北京建筑大学，2020.

[14] SUN Xiuxiu. Research on High-Speed Rail Corrugation Detection Based on Deep Learning ［D］. Beijing： Beijing University of Civil Engineering and Architecture， 2020. in Chinese

[15] 黄振宇.深度多模态表示学习研究［D］.成都：四川大学，2023.

[16] HUANG Zhenyu. Research on Deep Multimodal Representation Learning ［D］. Chengdu： Sichuan University， 2023. in Chinese

[17] GUO W Z， WANG J W， WANG S P. Deep Multimodal Representation Learning： a Survey ［J］. IEEE Access， 2019， 7： 63373-63394.

[18] FAN W Q， HE Z W， XING X F， et al. Multi-Modality Depression Detection via Multi-Scale Temporal Dilated CNNS ［C］// Proceedings of the 9th International on Audio/Visual Emotion Challenge and Workshop. Nice， France， New York： ACM， 2019： 73-80.

[19] YIN S， LIANG C， DING H Y， et al. A Multi-Modal Hierarchical Recurrent Neural Network for Depression Detection ［C］// Proceedings of the 9th International on Audio/Visual Emotion Challenge and Workshop. Nice， France. New York： ACM， 2019： 65-71.

[20] CHENG X L， GENG K K， WANG Z W， et al. SLBAF-Net： Super-Lightweight Bimodal Adaptive Fusion Network for UAV Detection in Low Recognition Environment ［J］. Multimedia Tools and Applications， 2023， 82 （30）： 47773-47792.

[21] LIU M H， SHI R X， KUANG K M. OpenShape： Scaling up 3D Shape Representation towards Open-World Understanding ［C］// NIPS '23： Proceedings of the 37th International Conference on Neural Information Processing Systems. New Orleans， LA， USA. Red Hook： Curran Associates Inc.， 2024： 44860-44879.

[22] KIM Y， LEE H， PROVOST E M. Deep Learning for Robust Feature Generation in Audiovisual Emotion Recognition ［C］// Proceedings of the 2013 IEEE International Conference on Acoustics， Speech and Signal Processing. Vancouver， BC， Canada. New York： IEEE Press， 2013： 3687-3691.

[23] TANG C， YANG X， WU B J B， et al. Parts2Words： Learning Joint Embedding of Point Clouds and Texts by Bidirectional Matching between Parts and Words ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Vancouver， BC， Canada. New York： IEEE， 2023： 6884-6893.

[24] KAHOU S E， BOUTHILLIER X， LAMBLIN P， et al. EmoNets： Multimodal Deep Learning Approaches for Emotion Recognition in Video ［J］. Journal on Multimodal User Interfaces， 2016， 10 （2）： 99-111.

[25] NGIAM J， KHOSLA A， KIM M， et al. Multimodal Deep Learning［C］// Proceedings of the 28th International Conference on Machine Learning （ICML-11）. Bellevue， Washington， USA. Madison， WI： Omnipress， 2011： 689-696.

[26] SRIVASTAVA N， SALAKHUTDINOV R. Multimodal Learning with Deep Boltzmann Machines ［J］. The Journal of Machine Learning Research， 2014， 15 （1）： 2949-2980.

[27] WANG S P， ZHANG H D， WANG H. Object Co-Segmentation via Weakly Supervised Data Fusion ［J］. Computer Vision and Image Understanding， 2017， 155： 43-54.

[28] NGIAM J， KHOSLA A， KIM M， et al. Multimodal Deep Learning ［C］// Proceedings of the 28th International Conference on Machine Learning （ICML-11）. Bellevue， Washington， USA. Madison， WI： Omnipress， 2011： 689-696.

[29] JIANG Y G， WU Z X， WANG J， et al. Exploiting Feature and Class Relationships in Video Categorization with Regularized Deep Neural Networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40 （2）： 352-364.

[30] PENG Y X， QI J W， YUAN Y X. Modality-Specific Cross-Modal Similarity Measurement with Recurrent Attention Network ［J］. IEEE Transactions on Image Processing， 2018， 27 （11）： 5585-5599.

[31] CAO Y， LONG M S， WANG J M， et al. Deep Visual-Semantic Hashing for Cross-Modal Retrieval ［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. San Francisco， California， USA. New York： ACM， 2016： 1445-1454.

[32] WESTON J， BENGIO S， USUNIER N. Large Scale Image Annotation： Learning to Rank with Joint Word-Image Embeddings ［J］. Machine Learning， 2010， 81 （1）： 21-35.

[33] FROME A， CORRADO G S， SHLENS J， et al. DeViSE ［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2. Lake Tahoe， Nevada. New York： ACM， 2013： 2121-2129.

[34] REED S， AKATA Z， LEE H， et al. Learning Deep Representations of Fine-Grained Visual Descriptions ［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， NV， USA. New York： IEEE Press， 2016： 49-58.

[35] LIU D N， ZHANG D H， SONG Y， et al. PDAM： a Panoptic-Level Feature Alignment Framework for Unsupervised Domain Adaptive Instance Segmentation in Microscopy Images ［J］. IEEE Transactions on Medical Imaging， 2021， 40 （1）： 154-165.

[36] CHEN B Z， CAO Q， HOU M X， et al. Multimodal Emotion Recognition with Temporal and Semantic Consistency ［J］. IEEE/ACM Transactions on Audio， Speech， and Language Processing， 2021， 29： 3592-3603.

[37] LI K S， CHEN C， CAO W T， et al. DeAF： a Multimodal Deep Learning Framework for Disease Prediction ［J］. Computers in Biology and Medicine， 2023， 156： 106715.

[38] KIM T， CHA M， KIM H， et al. Learning to Discover Cross-Domain Relations with Generative Adversarial Networks ［C］// Proceedings of the 34th International Conference on Machine Learning - Volume 70. Sydney， NSW， Australia. JMLR， 2017： 1857-1865.

[39] CHUNG Y A， WENG W H， TONG S， et al. Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces ［C］// Proceedings of the 32nd International Conference on Neural Information Processing Systems. Montréal， Canada. Red Hook： Curran Associates Inc.， 2018： 7365-7375.

[40] ZHU Y K， KIROS R， ZEMEL R， et al. Aligning Books and Movies： towards Story-Like Visual Explanations by Watching Movies and Reading Books ［C］// 2015 Proceedings of the IEEE International Conference on Computer Vision （ICCV）. Santiago， Chile. New York： IEEE Press， 2015： 19-27.

[41] GEBRU I D， BA S， LI X F， et al. Audio-Visual Speaker Diarization Based on Spatiotemporal Bayesian Fusion ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40 （5）： 1086-1099.

[42] VOGEL S， NEY H， TILLMANN C， et al. HMM-Based Word Alignment in Statistical Translation ［C］// Proceedings of the 16th Conference on Computational Linguistics - Volume 2. Copenhagen， Denmark. Stroudsburg： Association for Computational Linguistics， 1996： 836-841.

[43] MESSINA N， AMATO G， ESULI A， et al. Fine-Grained Visual Textual Alignment for Cross-Modal Retrieval Using Transformer Encoders ［J］. ACM Transactions on Multimedia Computing， Communications， and Applications， 2021， 17 （4）： 1-23.

[44] XUE F， LI Y， LIU D Y， et al. LipFormer： Learning to Lipread Unseen Speakers Based on Visual-Landmark Transformers ［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2023， 33 （9）： 4507-4517.

[45] QU L G， LIU M， CAO D， et al. Context-Aware Multi-View Summarization Network for Image-Text Matching ［C］// Proceedings of the 28th ACM International Conference on Multimedia. Seattle， WA， USA. New York： ACM， 2020： 1047-1055.

[46] FANG Q Y， HAN D P， WANG Z K. Cross-Modality Fusion Transformer for Multispectral Object Detection ［EB/OL］. 2021： 2111.00273.

[47] 张虎成，李雷孝，刘东江.多模态数据融合研究综述［J］.计算机科学与探索，2024，18（10）：2501-2520.

[48] ZHANG Hucheng， LI Leixiao， LIU Dongjiang. Survey of Multimodal Data Fusion Research ［J］. Journal of Frontiers of Computer Science and Technology， 2024， 18 （10）： 2501-2520. in Chinese

[49] TEEPE T， WOLTERS P， GILG J， et al. EarlyBird： Early-Fusion for Multi-View Tracking in the Bird's Eye View ［C］// 2024 IEEE/CVF Winter Conference on Applications of Computer Vision Workshops （WACVW）. Waikoloa， HI， USA. New York： IEEE Press， 2024： 102-111.

[50] DAS R， SINGH T D. Image-Text Multimodal Sentiment Analysis Framework of Assamese News Articles Using Late Fusion ［J］. ACM Transactions on Asian and Low-Resource Language Information Processing， 2023， 22 （6）： 1-30.

[51] KUMAR P， MALIK S， RAMAN B. Interpretable Multimodal Emotion Recognition Using Hybrid Fusion of Speech and Image Data ［J］. Multimedia Tools and Applications， 2024， 83 （10）： 28373-28394.

[52] ATREY P K， HOSSAIN M A， SADDIK A EL， et al. Multimodal Fusion for Multimedia Analysis： a Survey ［J］. Multimedia Systems， 2010， 16 （6）： 345-379.

[53] XUE Y J， JU Z Y， LI Y M， et al. MAF-YOLO： Multi-Modal Attention Fusion Based YOLO for Pedestrian Detection ［J］. Infrared Physics & Technology， 2021， 118： 103906.

[54] ZHAO Z X， BAI H， ZHANG J S， et al. Cddfuse： Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion ［C］// 2023 Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver， BC， Canada. New York： IEEE， 2023： 5906-5916.

[55] FANG Q Y， HAN D P， WANG Z K. Cross-Modality Fusion Transformer for Multispectral Object Detection ［EB/OL］. 2021： 2111.00273.

[56] ZHU Y H， SUN X Y， WANG M， et al. Multi-Modal Feature Pyramid Transformer for RGB-Infrared Object Detection ［J］. IEEE Transactions on Intelligent Transportation Systems， 2023， 24 （9）： 9984-9995.

[57] HINTON G E， SALAKHUTDINOV R R. Reducing the Dimensionality of Data with Neural Networks ［J］. Science， 2006， 313 （5786）： 504-507.

[58] MARTÍNEZ H P， YANNAKAKIS G N. Deep Multimodal Fusion： Combining Discrete Events and Continuous Signals ［C］// Proceedings of the 16th International Conference on Multimodal Interaction. Istanbul Turkey. New York： ACM， 2014： 34-41.

[59] MENG H Y， HUANG D， WANG H， et al. Depression Recognition Based on Dynamic Facial and Vocal Expression Features Using Partial Least Square Regression ［C］// Proceedings of the 3rd ACM International Workshop on Audio/Visual Emotion Challenge. Barcelona， Spain. New York： ACM， 2013： 21-30.

[60] SAMAREH A， JIN Y， WANG Z Y， et al. Detect Depression from Communication： How Computer Vision， Signal Processing， and Sentiment Analysis Join Forces ［J］. IISE Transactions on Healthcare Systems Engineering， 2018， 8 （3）： 196-208.

[61] ZHANG Q J， ZHANG H T， ZHOU K M， et al. Developing a Physiological Signal-Based， Mean Threshold and Decision-Level Fusion Algorithm （PMD） for Emotion Recognition ［J］. Tsinghua Science and Technology， 2023， 28 （4）： 673-685.

[62] MEHRA S， RANGA V， AGARWAL R. Improving Speech Command Recognition through Decision-Level Fusion of Deep Filtered Speech Cues ［J］. Signal， Image and Video Processing， 2024， 18 （2）： 1365-1373.

[63] LAN Z Z， BAO L， YU S I， et al. Multimedia Classification and Event Detection Using Double Fusion ［J］. Multimedia Tools and Applications， 2014， 71 （1）： 333-347.

[64] ALGHOWINEM S， GOECKE R， COHN J F， et al. Cross-Cultural Detection of Depression from Nonverbal Behaviour ［C］// 2015 11th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition （FG）. Ljubljana， Slovenia. New York： IEEE Press， 2015： 1-8.

[65] MORALES M， SCHERER S， LEVITAN R. A Linguistically-Informed Fusion Approach for Multimodal Depression Detection ［C］// Proceedings of the Fifth Workshop on Computational Linguistics and Clinical Psychology： from Keyboard to Clinic. New Orleans， LA. Stroudsburg： USAACL， 2018： 13-24.

[66] WANG Y K， CHEN X H， CAO L L， et al. Multimodal Token Fusion for Vision Transformers ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans， LA， USA. New York： IEEE Press， 2022： 12176-12185.

[67] BRANDER C， CIOFLAN C， NICULESCU V， et al. Improving Data-Scarce Image Classification through Multimodal Synthetic Data Pretraining ［C］// 2023 IEEE Sensors Applications Symposium （SAS）. Ottawa， ON， Canada. New York： IEEE Press， 2023： 1-6.

[68] JIANG X Y， WU F， ZHANG Y， et al. The Classification of Multi-Modal Data with Hidden Conditional Random Field ［J］. Pattern Recognition Letters， 2015， 51： 63-69.

[69] WÖLLMER M， METALLINOU A， EYBEN F， et al. Context-Sensitive Multimodal Emotion Recognition from Speech and Facial Expression Using Bidirectional LSTM Modeling ［C］// 11th Annual Conference of the International Speech Communication Association， Interspeech. Makuhari， Chiba， Japan. Illinois： ISCA， 2010： 2362-2365.

[70] SIKKA K， DYKSTRA K， SATHYANARAYANA S， et al. Multiple Kernel Learning for Emotion Recognition in the Wild ［C］// Proceedings of the 15th ACM on International Conference on Multimodal Interaction. Sydney， Australia. New York： ACM， 2013： 517-524.

[71] JAQUES N， TAYLOR S， SANO A， et al. Multi-Task， Multi-Kernel Learning for Estimating Individual Wellbeing ［C］// Proceedings of NIPS Workshop on Multimodal Machine Learning， Montreal， Quebec. San Diego： NeurIPS， 2015， 898： 3.

[72] SUTTON C， MCCALLUM A. Introduction to Statistical Relational Learning ［M］. Cambridge： The MIT Press， 2007： 93-128.

[73] AFOURAS T， CHUNG J S， SENIOR A， et al. Deep Audio-Visual Speech Recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44 （12）： 8717-8727.

[74] FAN W Q， HE Z W， XING X F， et al. Multi-Modality Depression Detection via Multi-Scale Temporal Dilated CNNS ［C］// Proceedings of the 9th International on Audio/Visual Emotion Challenge and Workshop. Nice， France. New York： ACM， 2019： 73-80.

[75] YIN S， LIANG C， DING H Y， et al. A Multi-Modal Hierarchical Recurrent Neural Network for Depression Detection ［C］// Proceedings of the 9th International on Audio/Visual Emotion Challenge and Workshop. Nice， France. New York： ACM， 2019： 65-71.

[76] SCHNEIDER F， KAMAL O， JIN Z J， et al. Moûsai： Text-to-Music Generation with Long-Context Latent Diffusion ［EB/OL］. 2023： 2301.11757.

[77] JI X J， LIAO Z Z， DONG L F， et al. 3D Facial Animation Driven by Speech-Video Dual-Modal Signals ［J］. Complex & Intelligent Systems， 2024， 10 （5）： 5951-5964.

[78] JAEGLE A， GIMENO F， BROCK A， et al. Perceiver： General Perception with Iterative Attention ［C］// International Conference on Machine Learning. Virtual. PMLR， 2021： 4651-4664.

[79] SUN C， MYERS A， VONDRICK C， et al. VideoBERT： a Joint Model for Video and Language Representation Learning ［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul， South Korea. PMLR， 2019： 7464-7473.

[80] HUANG J， TAO J H， LIU B， et al. Multimodal Transformer Fusion for Continuous Emotion Recognition ［C］// ICASSP 2020-2020 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. Barcelona， Spain. New York： IEEE Press， 2020： 3507-3511.

[81] ZHANG W， QIU F， WANG S， et al. Transformer-Based Multimodal Information Fusion for Facial Expression Analysis ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver， BC， Canada. New York： 2022： 2428-2437.

[82] ALABA S Y， BALL J E. Transformer-Based Optimized Multimodal Fusion for 3D Object Detection in Autonomous Driving ［J］. IEEE Access， 2024， 12： 50165-50176.

[83] ZHOU Y， YANG C， WANG P， et al. ViT-FuseNet： Multimodal Fusion of Vision Transformer for Vehicle-Infrastructure Cooperative Perception ［J］. IEEE Access， 2024， 12： 31640-31651.

[84] YANG T T， XU T H， CHENG Y， et al. A Fusion Method Based on 1D Vibration Signals and 2D Images for Detection of Railway Surface Defects ［C］// 2023 3rd International Conference on Neural Networks， Information and Communication Engineering （NNICE）. Guangzhou， China. New York： IEEE Press， 2023： 282-286.

[85] SHEN Y F， ZHONG Q W， ZHENG S B， et al. A Multi-Modal Approach to Rail Surface Condition Analysis： the MFDF-Net ［J］. IEEE Access， 2024， 12： 132480-132494.

[86] CHEN Z X， WANG Q H， HE Q， et al. CUFuse： Camera and Ultrasound Data Fusion for Rail Defect Detection ［J］. IEEE Transactions on Intelligent Transportation Systems， 2022， 23 （11）： 21971-21983.

[87] WU J Y， ZHOU W J， QIU W W， et al. Depth Repeated-Enhancement RGB Network for Rail Surface Defect Inspection ［J］. IEEE Signal Processing Letters， 2022， 29： 2053-2057.

[88] WANG Q H， GAO T C， HE Q， et al. Severe Rail Wear Detection with Rail Running Band Images ［J］. Computer-Aided Civil and Infrastructure Engineering， 2023， 38 （9）： 1162-1180.

[89] ZHOU W J， HONG J K. FHENet： Lightweight Feature Hierarchical Exploration Network for Real-Time Rail Surface Defect Inspection in RGB-D Images ［J］. IEEE Transactions on Instrumentation and Measurement， 2023， 72： 5005008.

[90] ZHANG J X， ZHANG J， CHEN J J， et al. Rail Surface Defect Detection through Bimodal RSDINet and Three-Branched Evidential Fusion ［J］. IEEE Transactions on Instrumentation and Measurement， 2023， 72： 2508714.

[91] YANG J X， ZHOU W J， WU R M， et al. CSANet： Contour and Semantic Feature Alignment Fusion Network for Rail Surface Defect Detection ［J］. IEEE Signal Processing Letters， 2023， 30： 972-976.

[92] WANG J， LI G Q， QIU G W， et al. Depth-Assisted Semi-Supervised RGB-D Rail Surface Defect Inspection ［J］. IEEE Transactions on Intelligent Transportation Systems， 2024， 25 （7）： 8042-8052.

[93] 何庆，马玉松，李晨钟，等.高速铁路动静态轨检数据里程对齐与误差修正［J］.铁道学报，2024，46（1）：129-136.

[94] HE Qing， MA Yusong， LI Chenzhong， et al. High-Speed Railway Mileage Alignment Matching and Error Correction between Dynamic and Static Track Inspection Data ［J］. Journal of the China Railway Society， 2024， 46 （1）： 129-136. in Chinese

基金资助

中国国家铁路集团有限公司重点研发计划课题(N2023G030)

中国铁道科学研究院集团有限公司院基金课题(2023YJ026)