基于IBTM-TMW的信号设备故障文本聚类方法

Research on Fault Text Clustering Method of Signal Equipment Based on IBTM-TMW

摘要

针对信号设备故障文本数据存在的长度短、专业性强及难以智能化再利用等问题，提出基于改进的词对主题模型和词向量融合（IBTM-TMW）的信号设备故障文本聚类方法。首先，为减少数据噪音，提升数据质量，在数据预处理过程中引入自建词典和保留动名词处理；其次，在词对的吉布斯采样建模过程中引入词的差异性重要度作为加权因素，利用改进的词对主题模型（IBTM）提升文本主题特征的学习能力，并将词频-改进逆文档频率权重（TF-MIDF）嵌入到Word2vec词向量的生成过程，将词的文本重要性与Word2vec词向量融合，完善文本词特征向量的表示；最后，通过融合文本主题特征向量和词特征向量，增强文本特征的表示能力，并采用K-means++算法进行故障聚类分析。结果表明：同一试验数据集下，所提方法生成的文本特征向量明显优于其他传统模型，其诊断精度达到89.9%，高于K-means，GMM，AGNES和BIRCH等聚类模型（诊断精度分别为78.3%，68.1%，87.9%和81.7%）。该方法可增强故障文本特征与类别间关联关系的识别能力，为基于文本数据驱动的故障诊断提供参考。

Abstract

To tackle issues including short length, strong technical specificity and challenges in intelligent reuse of signal equipment fault text data, a signal equipment fault text clustering method based on improved Biterm Topic Model and Word Vector Fusion (IBTM-TMW) is proposed. Firstly, to reduce noise of the data and improve data quality, a customized dictionary and gerund processing are introduced in the process of data preprocessing. Secondly, during the Gibbs sampling modeling process of word pairs, the differential importance of words is introduced as a weighting factor, and the Improved Biterm Topic Model (IBTM) is used to improve the learning capability of text topic features. The weight of Term Frequency-Modified Inverse Document Frequency (TF-MIDF) is embedded into the generation process of Word2vec word vectors. The text importance of words is integrated into the Word2vec word vector to refine the feature vector representation of text words. Finally, the text topic feature vector and the word feature vector are integrated to enhance the text feature representation capability. On this basis, the K-means ++ algorithm is used for fault cluster analysis. The results show that within the same data set, the quality of the text feature vector generated by IBTM-TMW model is significantly higher than those of LDA and Label-LDA models, and its diagnostic accuracy of Correct Classification Rate (CCR) reaches 89.9% (surpassing the 78.3%, 68.1%, 87.9% and 81.7% accuracies of K-means, GMM, AGNES and BIRCH, respectively). The proposed method improves the capability of analyzing the correlation between fault text features and their categories, thereby offering a valuable reference for text-data-driven fault diagnosis.

Graphical abstract

关键词

故障诊断 / 主题模型 / 词向量 / 权重 / 文本聚类

Key words

Fault diagnosis / Topic model / Word vector / Weight / Text clustering

在“交通强国”战略指导下，信息化和智能化技术已成为铁路发展的关键，目标是通过建立一体化信息平台，实现数据共享和增值，支持铁路大数据和智能化发展^［1］。随着我国铁路建设里程的不断增加，铁路信号运营设备积累了大量故障数据。这些数据是维修人员依据自身语言习惯和经验知识，将设备故障现象、诊断过程及分类结果整理而成的记录文本，并进行归类存储。在信号设备的实际故障处理过程中，维修人员需要参考历史故障处理经验，学习不同故障的表征和诊断方法。然而，这些历史故障文本数据具有非结构化的特点，包含大量专业术语和符号，且文本长度短，不利于计算机分析和处理。这导致设备维护人员在信息学习方面的智能化程度不足，此外，故障文本数据的归档分类工作通常由维修人员主观确定，存在一定的随意性和不确定性，进一步增加了数据管理和分析的复杂性。

铁路信号设备故障文本数据挖掘研究主要集中在利用多种特征提取算法来表征故障文本，从而构建基于不同智能算法的故障数据分析模型，以实现精确的故障诊断。近几年文本挖掘技术在铁路信号领域受到了越来越多学者的关注。杨连报等^［2］针对铁路信号设备的不平衡故障文本数据，采用TF-IDF模型进行特征向量表征，并利用SVM-SMOTE算法对少类别文本特征向量进行随机生成，最终通过Voting机制实现多分类器集成学习分类。WANG等^［3］提出了1种融合{\chi }^{\mathrm{2}}统计量和LDA主题模型的铁路故障维修数据文本挖掘方法，构建了语法语义的双层特征。林海香等^［4］针对高速道岔故障文本的结构特征，利用BERT模型构建包含位置信息的双向词表征，并引入多头注意力机制以突出关键特征，通过BiLSTM进行特征信息融合，依托条件随机场获得最佳识别结果。周璐婕等^［5］基于列控车载设备故障日志数据，提出CNN-CSRF组合模型，实现了车载设备故障文本的分类。陆人杰等^［6］以车载设备故障追踪表中的文本数据为样本，设计了融合CNN网络和PSO-SVM的车载设备故障诊断模型。

铁路信号故障文本数据因其短文本特性，单词数量少且稀疏度高，与传统长文本在特征向量提取上有所区别。短文本聚类作为数据挖掘的关键问题，近年来备受关注。为应对短文本的稀疏性，学者们提出了词对主题模型（Biterm Topic Model，BTM）^［7］。此外，词嵌入技术作为1种文本分析计算方法，在语言建模和特征学习方面体现出较好的优势，被广泛应用于多种自然语言处理任务中。近几年，随着研究的深入，取得了一些显著的成果。LI等^［8］通过将K-means聚类算法与BTM主题模型结合，增强了主题的区分能力。LI等^［9］提出R-BTM模型，利用Word2vec训练的词向量建立语义相似词列表来扩展原短文本的词对集合，进而构建BTM主题模型。ZHANG等^［10］提出了BCK-TM主题模型，将单词嵌入到BTM主题采样过程中，规范主题分配，从而提高主题推断的连贯性。与经典的隐含狄利克雷分布主题（Latent Dirichlet Allocation，LDA）模型^［11］相比，BTM模型在短文本数据分析领域表现更佳^［12-13］，但在建模过程中未能充分考虑词对在不同短文本中作用的差异及语料库中词对处理的非平等性问题。

针对信号设备故障文本的数据可用性问题，本研究提出融合改进的词对主题模型（Improved Biterm Topic Model，IBTM）和Word2vec词向量的方法，对故障文本数据挖掘进行优化。通过引入词的差异性重要度作为各个词的权重，以此改进吉布斯采样过程，进而强化模型的学习能力，减少短文本向量的稀疏性，并利用K-means++算法进行故障数据和类别的关联挖掘。该方法可提高诊断准确性和维修效率，实现故障类别的自动识别。

1 基于IBTM模型的文本特征向量生成方法

1.1　BTM主题模型

BTM主题模型是1种基于词对共现的模型，在短文本分析中展现出较好优势^［7］，其结构如图1所示。模型包含5个主要层级，分别为输入层、构建层、主题层、吉布斯采样层和输出层。输入层负责对语料库数据进行分词和清洗等预处理；构建层通过随机配对文本中的词来形成Biterm列表；主题层负责初始化主题分布及其与词对的关联概率；吉布斯采样层运用Gibbs采样算法进行迭代抽样；输出层则输出每个主题和词对的分布情况，揭示语料库的深层语义特征。

1.2　IBTM主题模型

为解决短文本的特征稀疏性问题，BTM主题模型通过挖掘语料库中的所有词对进行主题建模。尽管BTM在处理短文本方面表现出有效性，但它在建模过程中对所有词给予相同的重要性，忽略了不同词在语料库中所具有的不同含义，例如停用词、通用词和关键词之间的区别。针对这一局限性，提出IBTM主题模型，其结构如图2所示。

与BTM模型相比，IBTM模型在输入层同样进行数据预处理，但增加了对分词后的语料库进行词性标注的步骤，仅保留名词和动词以优化语料库^［14］；在构建层中引入词差异性权重计算，据此筛选出权重较高的词^［15］；在吉布斯采样层也考虑了词的差异性权重，将其加权应用于Gibbs采样的词计数中，从而实现对各个词的差异化处理。词w的差异性权值V_w为

V_w=\frac{\sqrt[]{\left[{\displaystyle \sum _{d=\mathrm{1}}^D}{\left(y_d-\overline{y}\right)}^{\mathrm{2}}\right]n^{-\mathrm{1}}}}{\overline{y}}（1）

式中：\overline{y}为语料库中词w的平均文本次数；D为语料库中的文本总数；y_d为词w在文本d中的出现次数；n为词w在语料库中不同文本的出现次数。若1个词在所有文本中都频繁出现，则其V_w值较小，表明该词的差异性较低，意味着它对文本区分度的贡献较小，因此在模型中应分配较低的权重。

IBTM模型与BTM模型类似，是1种基于概率生成的无监督模型。该模型仅针对语料库中的词对集合进行建模，并未对文本生成过程进行建模，因此不能直接获得文本的主题分布。在IBTM模型中，为了推断文本的主题分布，通常假设文本与主题独立，文本的主题概率等于文本生成词对的主题概率的期望值，则用贝叶斯条件概率推断出文本d的主题概率p_{\mathrm{I}\mathrm{B}\mathrm{T}\mathrm{M}}\left(z_k\left|d\right.\right)为

p_{\mathrm{I}\mathrm{B}\mathrm{T}\mathrm{M}}\left(z_k\left|d\right.\right)={\displaystyle \sum _{i=\mathrm{1}}^{N_d}}{p}^{\text{'}}\left(z_k\left|b_i^d\right.\right)p\left(b_i^d\left|d\right.\right)（2）

其中，

p^{\text{'}}\left(z_k\left|b_i^d\right.\right)=\frac{{\theta }_k{\varphi }_{k,w_{i,\mathrm{1}}^d}{V}_{w_{i,\mathrm{1}}}{\varphi }_{k,w_{i,\mathrm{2}}^d}{V}_{w_{i,\mathrm{2}}}}{{\displaystyle \sum _{k=\mathrm{1}}^K}{\theta }_k{\varphi }_{k,w_{i,\mathrm{1}}^d}{V}_{w_{i,\mathrm{1}}}{\varphi }_{k,w_{i,\mathrm{2}}^d}{V}_{w_{i,\mathrm{2}}}}

p\left(b_i^d\left|d\right.\right)=\frac{n_{b_i^d}}{{\displaystyle \sum _{i=\mathrm{1}}^{N_d}}{n}_{b_i^d}}

式中：N_d为文档d中包含的词对个数；b_i^d为文档d中第i个词对，w_{i,\mathrm{1}}^d和w_{i,\mathrm{2}}^d为组成b_i^d的两个词；K为语料库主题个数；z_k为语料库第k个主题，且\mathrm{1}\le k\le K；p^{\text{'}}\left(z_k\left|b_i^d\right.\right)为b_i^d分配给主题z_k的概率；{\theta }_k为主题z_k的概率；{\varphi }_{k,w_{i,\mathrm{1}}^d}和{\varphi }_{k,w_{i,\mathrm{2}}^d}分别为主题z_k中词w_{i,\mathrm{1}}^d和w_{i,\mathrm{2}}^d出现的概率；p\left(b_i^d\left|d\right.\right)为在文档d中b_i^d出现的概率；n_{b_i^d}为词对b_i在文档d中的出现次数；V_{w_{i,\mathrm{1}}}和V_{w_{i,\mathrm{2}}}分别为词w_{i,\mathrm{1}}和w_{i,\mathrm{2}}的差异性权值。

在IBTM主题模型的应用中，吉布斯采样算法通过引入词的差异性权重，将词对的原始计数替换为加权计数，从而调整迭代过程中每个词对的特征。建模过程中，基于语料库中词对的条件分布进行主题采样，并利用联合概率及链式法则^［7］可得词对b_i的采样主题z_k的概率p^{\text{'}}\left(z_i=z_k\left|z_{-i},B,\alpha ,\beta \right.\right)为

\begin{array}{l}{p}^{\text{'}}\left(z_i=z_k\left|z_{-i},B,\alpha ,\beta \right.\right)\propto \left({\widehat{n}}_{-i,z_k}^{}+\alpha \right)·\\ \frac{\left({\widehat{n}}_{-i,w_{{}_{i,\mathrm{1}}}\left|z_k\right.}^{}+\beta \right)\left({\widehat{n}}_{-i,w_{{}_{i,\mathrm{2}}}\left|z_k\right.}^{}+\beta \right)}{\left({\widehat{n}}_{-i,\cdot \left|z_k\right.}^{}+W\beta +\mathrm{1}\right)\left({\widehat{n}}_{-i,\cdot \left|z_k\right.}^{}+W\beta \right)}\end{array}（3）

其中，

{\widehat{n}}_{-i,z_k}={\displaystyle \sum _{i=\mathrm{1}}^{N_B}}{V}_{b_{-i}}{n}_{-i,z_k}

{\widehat{n}}_{-i,w_{i,\mathrm{1}}\left|z_k\right.}=V_{w_{i,\mathrm{1}}}{n}_{-i,w_{i,\mathrm{1}}\left|z_k\right.}

{\widehat{n}}_{-i,w_{i,\mathrm{2}}\left|z_k\right.}=V_{w_{i,\mathrm{2}}}{n}_{-i,w_{i,\mathrm{2}}\left|z_k\right.}

式中：W为语料库中的词汇总数；B为语料库中的词对集合；N_B为语料库中的词对数量；\alpha与\beta分别为主题和主题-词对概率的狄利克雷分布超参数；b_i^{}为语料库中第i个词对；z_{-i}为去除b_i之外的词对的主题分布；{\widehat{n}}_{-i,w\left|z_k\right.}为去除b_i之外的词w分配给主题z_k的差异性加权次数；{\widehat{n}}_{-i,\cdot \left|z_k\right.}为去除词对b_i^{}之外的语料库中所有词分配给主题z_k的差异性加权次数之和；V_{b_i}为词对b_i的差异性权值。

IBTM主题模型在经过多次迭代后，主题概率{\theta }_k和词分配给主题的概率{\varphi }_{k,w}为

{\varphi }_{k,w}=\frac{{\widehat{n}}_{w\left|z_k\right.}+\beta }{{\widehat{n}}_{\cdot \left|z_k\right.}+W\beta }（4）

{\theta }_k=\frac{{\widehat{n}}_{z_k}+\alpha }{{\displaystyle \sum _{k=\mathrm{1}}^K}{\widehat{n}}_{z_k}+K\alpha }（5）

式中：{\widehat{n}}_{w\left|z_k\right.}，{\widehat{n}}_{\cdot \left|z_k\right.}和{\widehat{n}}_{z_k}分别为单个词w、所有词和所有词对分配给主题z_k的差异性加权次数。

IBTM主题模型的算法具体步骤如下。

步骤1：对语料库中的文本数据进行预处理，并计算各词的差异性权重。

步骤2：根据差异性权重筛选低权重词，利用词共现分析生成词对集合B，构建语料库的文本-词对表示。

步骤3：初始化模型参数\alpha，\beta和 K，通过随机函数为B中每个词对b_i^{}初始化1个主题，并根据b_i^{}及其差异性权重进行吉布斯采样，迭代更新b_i^{}所对应的主题及语料库中所有词和词对分配给主题z_k的次数，直至满足预定迭代次数。

步骤4：计算模型参数{\varphi }_{k,w}和{\theta }_k，并输出p_{\mathrm{I}\mathrm{B}\mathrm{T}\mathrm{M}}\left(z_k\left|d\right.\right)值。

2 基于词向量的文本特征向量生成方法

词向量是1种文本特征表示方法，用于将语料库中的词转换为向量形式。选择Word2vec模型来学习分布式词向量，该模型在生成词向量方面具有高效性。Word2vec 模型包含2种神经网络结构：连续词袋（Continuous Bag of Words，CBOW）模型和 跳字模型（Skip-Gram）^［16］，由于CBOW相较于Skip-Gram具有更快的训练速度^［17］，因此，选用CBOW模型进行词向量的训练，其模型结构如图3所示。

CBOW模型是1个3层神经网络，由输入层、隐藏层和输出层组成，通过分析上下文词来预测中心词。首先，将中心词周围的上下文词向量作为输入，这些向量由预训练的词嵌入矩阵初始化后获得，能够将词汇的语义信息编码为高维空间中的向量，在输入模型前将其进行合并处理，以综合捕捉上下文的整体语义；随后，通过隐藏层实现权重的迭代优化，以减少中心词的预测误差；最终，输出层产生中心词的词向量，该向量反映该词在语料库中的语义特征，且涵盖词的语义内容及其与上下文的关联信息。

由于不同词所表达的主题含义存在差异，该差异反映了其在文本主题区分中的重要程度。因此，引入词的重要性权重来优化文本词向量表示，采用基于词频分布而不考虑文本标签的无监督算法^［18］来分配权重，选用无监督权重计算方法中的TF-MIDF方法来优化CBOW产生的词向量。TF-MIDF方法的权重值Q_{\mathrm{T}\mathrm{F}-\mathrm{M}\mathrm{I}\mathrm{D}\mathrm{F}}为

Q_{\mathrm{T}\mathrm{F}-\mathrm{M}\mathrm{I}\mathrm{D}\mathrm{F}}=\frac{f_{t,d}}{\sqrt[]{{\displaystyle \sum _{t=\mathrm{1}}^n}{f}_{t,d}^{\mathrm{2}}}}\mathrm{l}\mathrm{g}\left[\frac{N}{\mathrm{1}/\left(\left(N-D_t\right)+\mathrm{1}\right)}\right]（6）

式中：f_{t,d}为文档d中词t的频率；n为文本d中独特词的数量；D_t为词t出现的文本数；N为语料库文本总数。语料库中的文本通过CBOW学习模式得到其词向量后，采用TF-MIDF方法加权各词向量表示，最后对文本词向量的每列求平均值，得到文本的加权词向量特征。

3 特征融合与聚类

3.1　特征融合

在文本特征表示中，IBTM主题模型通过挖掘整个语料库中的隐藏语义信息，来捕捉全局文本语义。相比之下，词向量通过将词映射到实数向量空间，并利用向量间的距离来衡量词的相似度，从而捕捉局部文本语义信息。Word2vec模型在捕捉上下文临近词汇的语义关联方面表现出色，可有效弥补短文本中特征词汇语义表达不足的问题^［19］。因此，所提方法通过结合IBTM主题模型和改进的词向量方法来学习文本语义，实现局部与全局信息的互补，以便更有效地提取文本的特征向量信息。将IBTM模型生成的文本主题特征和改进Word2vec模型得到的文本加权词向量特征进行串行融合后得到文本的特征向量。

3.2　聚类模型

K-means++算法是在K-means算法的基础上进行优化，主要改进在于其初始质心的选择策略。该算法将特征融合生成的文本特征向量作为输入，用于构建铁路信号设备故障数据的聚类模型。与传统K-means算法相比，K-means++在初始化聚类中心时采用分散原则，选择尽可能远距离的数据点作为起始质心，从而减少迭代次数并提升计算效率。这种改进不仅提高了算法处理大规模数据集的能力，还增强了聚类结果的稳定性和准确性。

3.3　评价指标

主题一致性评分C_{k,W_{}^k}作为评估主题模型性能的量化指标，其计算式为

C_{k,W_{}^k}={\displaystyle \sum _{i=\mathrm{2}}^M}{\displaystyle \sum _{j=\mathrm{1}}^{i-\mathrm{1}}}\mathrm{l}\mathrm{g}\left(\frac{D_{w_i^k,w_j^k}+\mathrm{1}}{D_{w_j^k}}\right)（7）

式中：W_{}^k为主题k下概率值最大的前M个词汇；D_{w_j^k}为主题k下词汇W_j出现的文本频数；D_{w_i^k,w_j^k}为主题k下词汇w_i和w_j同时出现在同1篇文本中的频数。主题一致性评价不依赖于外部信息，其评分高低直接反映主题模型提取的语义相关性，评分越高表明该主题模型所提取的语义相关性越好，主题的一致性更优，同时主题内聚性和整体质量也更佳。

聚类模型的效果评价可通过内部和外部2种指标进行。内部评价指标包括轮廓系数（Silhouette Coefficient，SC）^［20］、戴维森堡丁系数（Davies-Bouldin Index，DBI ）^［20］和卡林斯基-哈拉巴斯指数（Calinski-Harabaz Index， CHI）^［21］，这些指标主要通过分析聚类质量的参数评估聚类效果；外部评价指标包括标准化互信息（Normalized Mutual Information，NMI）、调整互信息（Adjusted Mutual Information，AMI）和调整兰德系数（Adjusted Rand Index，ARI）^［20］，通过对比聚类数据标签与实际聚类结果评估聚类效果。与内部指标相比，外部指标需要聚类数据的标签信息，所有评价指标中，DBI的值越低表示聚类效果越好，而其他指标的值越高表示聚类效果越好。此外，为评估模型的诊断精度，引入分类准确率^［20］F_{\mathrm{C}\mathrm{C}\mathrm{R}}，其计算式为

F_{\mathrm{C}\mathrm{C}\mathrm{R}}=\frac{\mathrm{1}}{N}{\displaystyle \sum _{d=\mathrm{1}}^N}\delta \left(y_d,y_d^{\text{'}}\right)（8）

式中：N为语料库中某个群集文本总数；y_d^{\text{'}}为文档d的预测类别标签；y_d为文档d中预测概率最高的类别标签；\delta为指标变量，在多标签数据集中若y_d^{\text{'}}属于y_d，则\delta \left(y_d,y_d^{\text{'}}\right)取值为1，否则取值为0。F_{\mathrm{C}\mathrm{C}\mathrm{R}}反映模型诊断精度，其值越大表明模型诊断精度越高。

4 试验结果分析

4.1　试验环境

为检验所提方法对信号设备故障数据的聚类效果，借助Jupyter notebook平台，采用Python3.8版本编程软件进行试验，硬件配置如下：CPU处理器型号为i7-10510U，操作系统为win10，内存大小为16.0 GB。

4.2　数据集获取

试验数据来自2011-2020年现场铁路信号设备产生的故障文本数据，共计1 711条。数据覆盖轨道电路、信号机、道岔、ATP系统、电源、联锁和CIR通信设备等多个故障类别，具体分布情况见表1。利用Jupyter notebook工具对试验数据进行以下预处理步骤：首先，通过构建铁路信号专业词典来提高分词的准确性，确保专业术语如控显机、列控和自律机等被正确识别；接着，使用jiebia分词工具去除停用词并进行词性标注，仅保留名词和动词以强化特征表达；然后，删除差异性权重较低的常见词，以减少对主题背景的微弱影响；最终，建立词、文档和类别之间的索引关系，为文本分析和模型训练奠定基础。数据预处理操作可提升模型对铁路信号故障文本的解析能力，以实现更精确的故障诊断和分类。低权重词见表2。

4.3　文本特征主题向量生成质量验证

为验证所提IBTM模型的有效性，采用主题一致性评分进行量化分析。试验中每个主题下选取概率值最高的前10和20个词，用top10和top20表示，迭代次数分别为20和40次，超参数α值为0.1，β值为0.01。由于BTM模型在词对集合上直接进行主题推断，词的权值计算依赖于语料库。因此，选取包括词频权重NF、逆文档频率权重IDF^［18］和改进的逆文档频率权重MIDF^［18］的多种权值组合，以验证模型的效果。各主题模型的性能对比见表3，所有实验数据均为不同主题数下的数据均值。

由表3可知：BTM模型由于未考虑词的重要性权重，其均值较低，性能较差；NF仅基于词频，未能考虑语料库中样本类别的不均衡性，而IDF和MIDF仅考虑词的文档频数出现与否，缺乏全局考量，导致NF-BTM，IDF-BTM，MIDF-BTM，NF-IDF-BTM和NF-MIDF-BTM模型的稳定性和内聚性不足；IBTM模型则综合评估了词在语料库中的重要性，展现出更优的主题一致性，效果提升显著。

4.4　消融试验

消融试验结果见表4，其中“√”表示在IBTM模型的基础上添加该模块。试验参数如下：Word2vec词向量维度为100维，窗口大小为8；超参数α值为0.1；β值为0.01；主题数为7个；迭代次数为20次。由表4可知：IBTM+Word2vec单独应用于故障文本处理时，其内部评价指标表现并不突出，但相较于单独模型有所提升；在融合IBTM和加权Word2vec的各模型中，IBTM+（MTF-IDF）Word2vec模型的DBI系数最高，而其SC和CHI系数低于IBTM+TMW模型，但后者在所有外部评价指标上均表现最优；在无监督加权方案中，IBTM+（TF-IDF）Word2vec在计算词权重时未考虑文档中缺失词的影响，导致性能不佳。相比之下，IBTM+TMW模型在计算权重时考虑了缺失词，可以更有效地挖掘文本特征，其综合性能最优。

4.5　对比试验

为进一步证明IBTM-TMW模型的性能，将其与经典主题模型LDA^［11］和Labeled-LDA进行对比，试验结果见表5。由表5可知：IBTM-TMW模型的内、外部评价指标得分均明显优于其他2种模型，验证了该模型在信号故障数据集上的有效性。

为验证聚类效果及诊断精度，选取常用的K-means，GMM，AGNES和BIRCH聚类算法与所提K-means++聚类算法进行比较，结果见表6。由表6可知：K-means++算法生成的信号设备故障文本聚类质量的内、外部评价指标得分均显著高于其他算法；此外，K-means++的CCR分类准确率最高，表明其诊断出的故障类型与样本真实故障类型的匹配度较高，诊断精度较高。

5 结　论

（1）相较于BTM、NF-BTM等模型，IBTM模型的主题一致性评分在迭代次数为20和40次时分别提升55%和63%，表明IBTM模型在信号设备故障数据集中具有良好的适用性。

（2）融合后的IBTM-TMW模型的文本特征向量综合了故障数据集全局和局部语义信息的双重优势，与其他模型相比，其在内、外部评价指标中的综合性能最优。

（3）相较于其他聚类方法，本研究所提方法展现了较好的聚类效果。IBTM-TMW模型的分类准确率达到89.9%，分别高于K-means，GMM，AGNES和BIRCH等聚类模型，其诊断精度分别为78.3%，68.1%，87.9%和81.7%。有效增强了信号设备故障数据与故障类别之间关联关系的挖掘能力。

参考文献

[1] 马建军，李平，马小宁，等.铁路一体化信息集成平台总体架构及关键技术研究［J］.中国铁道科学，2020，41（5）：153-161.

[2] MA Jianjun， LI Ping， MA Xiaoning， et al. Research on the Overall Framework and Key Technologies of Railway Integrated Information Platform ［J］. China Railway Science， 2020， 41 （5）： 153-161. in Chinese

[3] 杨连报，李平，薛蕊，等.基于不平衡文本数据挖掘的铁路信号设备故障智能分类［J］.铁道学报，2018，40（2）：59-66.

[4] YANG Lianbao， LI Ping， XUE Rui， et al. Intelligent Classification of Faults of Railway Signal Equipment Based on Imbalanced Text Data Mining ［J］. Journal of the China Railway Society， 2018， 40 （2）： 59-66. in Chinese

[5] WANG F， XU T H， TANG T， et al. Bilevel Feature Extraction-Based Text Mining for Fault Diagnosis of Railway Systems ［J］. IEEE Transactions on Intelligent Transportation Systems， 2017， 18 （1）： 49-58.

[6] 林海香，白万胜，陆人杰，等.基于BMBC模型的高速铁路道岔故障信息实体识别［J］.铁道科学与工程学报，2023， 20（4）：1149-1159.

[7] LIN Haixiang， BAI Wansheng， LU Renjie， et al. Named Entity Recognition of Fault Information of High-Speed Railway Turnout from BMBC Model ［J］. Journal of Railway Science and Engineering， 2023， 20 （4）： 1149-1159. in Chinese

[8] 周璐婕，党建武，王瑜鑫，等.基于CNN-CSRF组合模型的列控车载设备故障诊断［J］.铁道学报，2020，42（11）：94-101.

[9] ZHOU Lujie， DANG Jianwu， WANG Yuxin， et al. Fault Diagnosis for On-Board Equipment of Train Control System Based on CNN-CSRF Hybrid Model ［J］. Journal of the China Railway Society， 2020， 42 （11）： 94-101. in Chinese

[10] 陆人杰，林海香，许丽，等.基于CNN和PSO-SVM组合模型的列控车载设备故障诊断［J］. 测试科学与仪器（英文版），2022，13（4）：430-438.

[11] LU Renjie， LIN Haixiang， XU Li， et al. Fault Diagnosis Based On-Board Equipment of Train Control System CNN and PSO-SVM Hybrid Model ［J］. Journal of Measurement Science and Instrumentation， 2022， 13 （4）： 430-438. in Chinese

[12] YAN X H， GUO J F， LAN Y Y， et al. A Biterm Topic Model for Short Texts ［C］// Proceedings of the 22nd International Conference on World Wide Web. Rio de Janeiro， Brazil. New York： ACM， 2013： 1445-1456.

[13] LI W J， FENG Y M， LI D J， et al. Micro-Blog Topic Detection Method Based on BTM Topic Model and K-Means Clustering Algorithm ［J］. Automatic Control and Computer Sciences， 2016， 50 （4）： 271-277.

[14] LI X M， ZHANG A， LI C C， et al. Relational Biterm Topic Model： Short-Text Topic Modeling Using Word Embeddings ［J］. The Computer Journal， 2019， 62 （3）： 359-372.

[15] ZHANG K， ZHOU Y， CHEN Z， et al. Incorporating Biterm Correlation Knowledge into Topic Modeling for Short Texts ［J］. The Computer Journal， 2022， 65 （3）： 537-553.

[16] BLEI D M， NG A Y， JORDAN M I. Latent Dirichlet Allocation ［J］. Journal of Machine Learning Research， 2003， 3： 993-1022.

[17] CHENG X Q， YAN X H， LAN Y Y， et al. BTM： Topic Modeling over Short Texts ［J］. IEEE Transactions on Knowledge & Data Engineering， 2014， 26 （12）： 2928-2941.

[18] YIN J H， WANG J Y. A Dirichlet Multinomial Mixture Model-Based Approach for Short Text Clustering ［C］// Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York， USA. New York： ACM， 2014： 233-242.

[19] ZHANG Y， TSAI F S. Chinese Novelty Mining ［C］// Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing. Singapore. Morristown： Association for Computational Linguistics， 2009： 1561-1570.

[20] 马治涛.文本分类停用词处理和特征选择技术研究［D］.西安：西安电子科技大学，2014.

[21] MA Zhitao. Research on Stop Words and Feature Selection for Text Classification ［D］. Xi'an： Xidian University， 2014. in Chinese

[22] MIKOLOV T， SUTSKEVER I， CHEN K， et al. Distributed Representations of Words and Phrases and Their Compositionality ［EB/OL］. 2013： arXiv： 1310.4546.

[23] MIKOLOV T， CHEN K， CORRADO G， et al. Efficient Estimation of Word Representations in Vector Space ArXiv e-Prints， 2013： arXiv：

[24] SABBAH T， SELAMAT A， SELAMAT M H， et al. Modified Frequency-Based Term Weighting Schemes for Text Classification ［J］. Applied Soft Computing， 2017， 58： 193-206.

[25] 颜端武，梅喜瑞，杨雄飞，等.基于主题模型和词向量融合的微博文本主题聚类研究［J］.现代情报，2021，41（10）：67-74.

[26] YAN Duanwu， MEI Xirui， YANG Xiongfei， et al. Research on Microblog Text Topic Clustering Based on the Fusion of Topic Model and Word Embedding ［J］. Journal of Modern Information， 2021， 41 （10）： 67-74. in Chinese

[27] YANG N， ZHANG Y P. Railway Fault Text Clustering Method Using an Improved Dirichlet Multinomial Mixture Model ［J］. Mathematical Problems in Engineering， 2022， 2022： 7882396.

[28] FAN Y Q， LIU J H， YE H， et al. TA-LSTM： a Time and Attribute Aware LSTM for Deep Flight Track Clustering ［J］. IEEE Transactions on Aerospace and Electronic Systems， 2023， 59 （5）： 7047-7060.

基金资助

国家自然科学基金资助项目(51967010)

国家自然科学基金资助项目(52262045)

甘肃省自然科学基金资助项目(21JR7RA292)