基于swin transformer与无监督学习的滚动轴承故障诊断方法

Fault diagnosis method of rolling bearing based on swin transformer and unsupervised learning

摘要

为了能在仅有健康状态数据条件下进行故障诊断，构建一种优化的swin transformer深度神经网络架构，对健康数据的特征进行提取并重构，提出一种滚动轴承故障诊断的无监督学习方法。与自编码器、深度编码器、卷积自编码器及稀疏自编码器进行对比，准确率分别为98.62%、76.46%、68.69%、77.69%、68.00%，与对比网络相比准确率提升20%以上。

Abstract

In order to carry out fault diagnosis with only health status data，an optimized swin transformer deep neural network architecture was constructed to extract and reconstruct health data features，which proposed an unsupervised learning method for rolling bearing fault diagnosis. Compared with autoencoder，depth encoder，convolutional autoencoder and sparse autoencoder，the accuracy is 98.62%，76.46%，68.69%，77.69%，68.00%，respectively，which is more than 20% higher than the accuracy of comparison network.

Graphical abstract

关键词

滚动轴承 / 故障诊断 / 深度学习 / 无监督学习 / swin transformer

Key words

rolling bearing / fault diagnosis / deep learning / unsupervised learning / swin transformer

滚动轴承^［1-3］常应用于各类旋转机械中，如电动飞机电推进系统等，其在运行过程中承受着较大的载荷和应力，长期使用会导致旋转机械出现各种故障，对旋转机械的安全运行产生严重影响，因此故障诊断对于旋转机械的安全运行至关重要。传统的故障诊断方法包括谱分析法^［4］、相关函数法^［5］和小波变换法^［6］等。然而，随着旋转机械复杂性的增加，不同部件之间的耦合作用增强，系统的动力学响应及噪声越发复杂，传统方法在处理这些问题时变得更加困难。近年来，数据驱动的智能故障诊断方法迅速发展，尤其是基于深度学习的方法在故障诊断中得到广泛应用。主流的机器学习算法包括专家系统^［7］、人工神经网络^［8］、支持向量机^［9］、k近邻^［10］和决策树^［11］等。Li等^［12］提出了基于深度学习的滚动轴承故障诊断方法，并通过验证表明深度学习在故障诊断方面具有潜力。Wang等^［13］改进了图形神经网络，提出了一种稳定的因果—捷径图神经网络来进行故障分类。

常规利用数据驱动的故障诊断方法为监督学习方法，对数据的标记要求较高，因此越来越多的学者开始探索无监督^［14-16］的故障诊断方法。Hong等^［17］使用基于无监督学习的模型探索特征提取方法，提高了模型从稀疏性机械设备数据中提取特征的能力。Kaupp等^［18］使用自动编码器自动选择与生产相关的变量并通过筛选损失值检测出异常状态并进行交叉验证，验证了该方法的可行性。由上述文献可以看出，无监督学习算法能够从无标签数据中进行特征提取，使其能够识别复杂机械系统响应数据中的异常信号。

swin transformer^［19］作为目标检测任务中热度较高的网络，国内外专家学者对其进行了较多研究。Zeng等^［20］使用swin transformer对电机振动信号中小波时频图进行故障诊断，准确率可达99.7%。Cui等^［21］针对船舶柴油机故障特征难以自适应提取、故障诊断准确率不高的问题，将自适应噪声与swin transformer相结合，使模型有一定鲁棒性的同时具有较高的准确率。

本文提出了一种无监督学习方法进行旋转机械的故障诊断，并改进了swin transformer网络作为无监督故障诊断的模型架构。实验结果表明，该方法相较于无监督网络模型准确率有较高提升。

1 无监督诊断方法

本文使用的swin transformer无监督故障诊断架构如图1所示。在训练阶段，将预处理过的健康数据输入到搭建的网络中。首先，通过卷积嵌入对数据维度进行提取，相对于普通的全连接层，数据间的联系与特征得到了更充分的保留；然后，将网络通过两个一组的swin transformer模块进行深层次的特征提取；最后，通过展平层将维度压缩回原维度，完成数据重构。通过计算重构数据与原始数据之间的均方误差（mean squared error，MSE）衡量两者之间的差异，进而判断模型的重构质量。在测试阶段，将未知数据输入训练后的神经网络中进行数据重构，对重构数据的MSE进行比较，损失值越大，存在故障的可能性越大。

相对于传统神经网络，本文使用的swin transformer采用了多头注意力机制，如图2所示。多头注意力机制是一种扩展自注意力机制的技术，以注意力机制引入可学习的权重为基础，增添多个注意力头，对输入序列中不同位置进行感知，使模型能够动态地为所输入的不同部分分配不同的注意力或权重，从而更好地处理复杂的数据。

同时本文所采用的多头注意力机制还引入了一种窗口挪移机制，将长数据分割成多个窗口，并在每个窗口内应用多头注意力机制。该方法提升了计算效率和局部特征的捕捉能力，但也牺牲了一定的全局连接性。为了弥补全局连接性的不足，swin transformer将所有窗口向后移动一定长度，实现了平移窗口的操作。在整个序列上建立窗口之间的连接，促进了全局信息的流动，进而提高了模型对全局特征和跨窗口信息的理解能力。窗口挪移方法如图3所示。

2 实验与结果分析

本文使用优化swin transformer对Paderborn轴承数据集进行故障诊断，在该数据集下进行实验，并与其他4种方法进行比较，验证了该方法的优越性。

2.1 对比网络

为了验证网络优越性，选用了其他4种主流无监督学习的方法进行对比实验。

（1）自编码器：自编码器是最常见的无监督学习方法。本文选用的自编码器包含一个隐藏层，选用的激活函数为LeakyReLU，确保了所有神经元在训练过程中都能得到激活，提高了训练的稳定性和效率。

（2）深度自编码器：相对于自编码器，深度自编码器增加了隐藏层，通过多个隐藏层逐渐将原始数据映射为更抽象的特征表示。这种层次化特征学习有助于更好地理解和提取数据中的特征，从而更好地重建数据。

（3）卷积自编码器： 基于卷积神经网络的自编码器。相较于自编码器增加了卷积模块，提升了特征提取能力，对比深度自编码器，利用卷积模块代替全连接层，提升了网络效率，减小了计算复杂度。

（4）稀疏自编码器：对自编码器中的隐藏层进行稀疏化，减少冗杂信息，提高数据处理效率，提高鲁棒性，降低过拟合概率，并引入稀疏性约束使模型优化时更具效率。

2.2 数据集介绍

对转动机械的轴承部位进行故障诊断，选用了Paderborn轴承数据对网络进行验证。该数据集所使用的滚动轴承型号为6203，实验台如图4所示，从左到右依次为电动机、扭矩测量轴、滚动轴承测试模块、飞轮和负载电机。通过将不同损伤类型的滚珠轴承安装在轴承测试模块中，生成实验数据。

为了模拟不同类型和各种情况下的故障，将轴承通过加速寿命实验台进行实验，得到一系列不同状态的轴承，具体损伤类型包含疲劳损伤、塑性变形等。使用压电加速度计采集轴承座的振动信号，采样频率为64 kHz，取样时间为4 s，驱动系统转速为1 500 r/min，测试轴承径向力为0.7 N·m，驱动系统的负载扭矩为1 000 N。在相同条件下，每次实验重复做20次避免极端影响。

2.3 实验结果及分析

为了避免神经网络过拟合，同时减小相位对特征提取造成的影响，采用重采样技术对数据集进行取样同时扩充样本。每次取2 000个采样点，每次采样后向后顺延1 500个采样点采集下一个样本。使用该采样方法取80%健康数据为训练集，余下20%的健康数据及故障数据组成测试集。根据故障轴承中不同位置的损伤情况，本文将其分为多种不同损伤层级，损伤部位小于等于2 mm为1级损伤，大于2 mm小于4.5 mm为2级损伤，大于4.5 mm为3级损伤，且这些故障存在于轴承的不同位置，因此以存在于不同位置的3种不同损伤层级的故障轴承组成故障轴承数据集。数据集包括1级内圈故障、2级内圈故障、3级内圈故障、1级外圈故障、2级外圈故障、2级混合故障、3级混合故障。

根据以上叙述，在Paderborn轴承数据集中，根据对比实验实现了在相同实验条件下，不同网络的对比，其中测试集取8 040组长度为2 000大小的20%健康数据，测试集的具体设置如表1所示。

将可用数据按表1划分为训练集和测试集。在此基础上，将训练集输入到构建的swin transformer网络和对比网络进行训练。这个训练过程将持续到模型达到收敛状态，即模型已经学会了数据的特征并且在训练集上取得了稳定的性能。为了避免模型过度拟合训练数据，采用L1正则化技术来限制模型参数的大小，从而提高模型的泛化能力。在模型得到充分训练后，就可以利用构建好的测试集来评估模型的性能。将测试集输入到训练好的各模型中进行故障诊断，以获得诊断结果。通过比较不同模型在测试集上的表现，可以评估它们在真实数据上的预测能力。图5为多种网络MSE loss对比图，5种网络准确率分别为98.62%、76.46%、68.69%、77.69%、68.00%。

对图5中优化Swin Transformer网络的MSE loss散点图进行详细分析，可以观察到每种故障模式所对应的MSE loss值均高于健康状态下的数值。这个发现提供了一个非常重要的线索，即MSE loss在一定程度上可以作为故障检测的指标。更具体地说，在相同部位的故障中，故障的损伤程度越严重，对应的MSE loss值也就越大。在确定了故障部位的情况下，通过优化swin transformer网络，可直接推断出该部位的严重程度。

与其他4种网络产生的MSE loss散点图进行对比后可以明显地看出，只有本文选择使用的优化swin transformer网络能够有效地诊断出微小故障，特别是1级内圈故障和1级外圈故障，产生这一现象的主要原因在于轴承振动模式的复杂性。普通深度神经网络难以捕捉到健康数据中所有特征点，因此只能粗略地诊断出2、3级故障。通过对准确率的观察也可以看出由于传统网络缺少对微小故障的特征识别，准确率相较优化的swin transformer网络低20%以上。

综上所述，通过图5及准确率对比，可得出优化的swin transformer网络在轴承故障检测中表现出色，能够有效地进行轴承故障诊断，特别是微小故障的诊断，为实际工程提供了一种提高轴承健康状态的监测和维护效率的方法。

3 结论

基于优化的Swin Transformer，本文提出了无监督学习故障诊断方法，并在Paderborn轴承数据集上取得了显著的效果，与几种主流的无监督学习方法相比，本方法在微故障诊断方面具有较高的准确率，对故障类型及程度的分类更为精确，在旋转机械故障诊断领域有广泛的应用前景。

参考文献

[1] Yang Z J， Zhang Z Z， Wang J R，et al.Enhanced generalized nonlinear sparse spectrum based on dual‐tree complex wavelet packet transform for bea- ring fault diagnosis[J].Measurement Science and Technology，2023，34(5)：055109.

[2] He L F， Liu X M， Jiang Z J.A coupled fractional‐order system with fluctuating frequency and its application in bearing fault diagnosis[J].Physica Scripta，2023，98(3)：035207.

[3] Miao Y H， Li C H， Shi H F，et al.Deep network‐based maximum correlated kurtosis deconvolution：a novel deep deconvolution for bearing fault diagnosis[J].Mechanical Systems and Signal Proce- ssing，2023，189：110110.

[4] Kramti S E， Ben Ali J， Bechhoefer E，et al.Toward an online strategy for mechanical failures diagnostics inside the wind turbine generators based on spectral analysis[J].Wind Engineering，2021，45(4)：782-792.

[5] Qiang C H， Deng Y.A new correlation coefficient of mass function in evidence theory and its application in fault diagnosis[J].Applied Intelligence，2022，52(7)：7832-7842.

[6] Xu H， Liu X D， Xu Y G.Application of enhanced empirical wavelet transform and correlation kurtosis in bearing fault diagnosis[J].Measurement Science and Technology，2023，34(3)：035023.

[7] Nan C， Khan F， Iqbal M T.Real‐time fault diagnosis using knowledge‐based expert system[J].Process Safety and Environmental Protection，2008，86(1)：55-71.

[8] Yang Z S， Kong C Z， Wang Y H，et al.Fault diagnosis of mine asynchronous motor based on MEEMD energy entropy and ANN[J].Computers & Electrical Engineering，2021，92（4）：107070.

[9] Yin Z Y， Hou J.Recent advances on SVM based fault diagnosis and process monitoring in complicated industrial processes[J].Neurocomputing，2016，174(9)：643-650.

[10] Moosavian A， Ahmadi H， Tabatabaeefar A，et al.Comparison of two classifiers；K‐nearest neighbor and artificial neural network，for fault diagnosis on a main engine journal‐bearing[J].Shock and Vibration，2013，20(2)：263-272.

[11] Abdallah I， Dertimanis V， Mylonas H，et al.Fault diagnosis of wind turbine structures using decision tree learning algorithms with big data[C]//2018 European Safety and Reliability Conference.London：CRC Press，2018：3053-3061.

[12] Li X， Zhang W， Ding Q.Understanding and improving deep learning‐based rolling bearing fault diagnosis with attention mechanism[J].Signal Process，2019，161（3）：136-154.

[13] Wang H， Liu R N， Ding S X，et al.Causal‐trivial a-ttention graph neural network for fault diagnosis of complex industrial processes[J].IEEE Transactions on Industrial Informatics，2024，20(2)：1987-1996.

[14] Lessmeier C， Kimotho J K， Zimmer D，et al.Condition monitoring of bearing damage in electromechanical drive systems by using motor current signals of electric motors：a benchmark data set for data‐driven classification[J].PHM Society Euro- pean Conference，2016，3(1)：47-49.

[15] Wang X， Qin Y， Wang Y，et al.ReLTanh：an activation function with vanishing gradient resistance for SAE‐based DNNs and its application to rota-ting machinery fault diagnosis[J].Neurocomputing，2019，363(7)：88-98.

[16] Zhu J， Hu T Z， Jiang B，et al.Intelligent bearing fault diagnosis using PCA-DBN framework[J].Neural Computing and Applications，2020，32(14)：10773-10781.

[17] Hong G， Suh D.Mel Spectrogram‐based advanced deep temporal clustering model with unsupervised data for fault diagnosis[J].Expert Systems with A-pplications，2023，217：119551.

[18] Kaupp L， Humm B， Nazemi K，et al.Autoencoder‐ensemble‐based unsupervised selection of production‐relevant variables for context‐aware fault diagnosis[J].Sensors，2022，22(21)：8259.

[19] Liu Z， Lin Y T， Cao Y，et al.Swin Transformer：hierarchical vision transformer using shifted windows［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）.Montreal：IEEE，2021：9992-10002.

[20] Zeng F， Ren X T， Wu Q.A fault diagnosis method for motor vibration signals incorporating swin transformer with locally sensitive hash attention[J].Measurement Science and Technology，2024，35(4)：046121.

[21] Cui D X， Hu Y H.Fault diagnosis for marine two‐stroke diesel engine based on CEEMDAN‑swin transformer algorithm[J].Journal of Failure Analysis and Prevention，2023，23(3)：988-1000.

基金资助

国家自然科学基金(11902202)