基于渐进式伪标签生成和实例对比学习的短文本聚类方法

摘要

为了解决现有短文本聚类方法中存在的特征学习不稳定和聚类退化问题，提出一种基于渐进式伪标签生成和实例对比学习的短文本聚类方法。首先，在聚类过程中，通过设计一个存放文本特征和伪标签的文本存储器以及一个存放类中心的类中心存储器，将复杂的聚类过程转化为小批次的存储器更新，渐进地生成文本伪标签，在保证了特征学习的稳定性的同时，避免了重复的聚类。其次，为了克服复杂且不平衡数据导致聚类退化解问题，引入了实例对比学习度量正负实例的一致性关系，自底向上挖掘潜在的类别之间的语义信息，提高了类别之间的区分性。最后，提出了一种特征聚类和实例对比学习相结合的渐进式训练策略，进一步提高了聚类性能。在八个公开数据集上做了大量实验，所提方法在AgNews、SearchSnippets和GoogleNews-TS数据集上的ACC性能分别达到了86.54%、83.49%和86.25%.

关键词

短文本聚类 / 伪标签生成 / 对比学习 / 神经网络 / 深度学习 / 人工智能

基金资助

国网陕西省电力有限公司科技项目(5226PX240003); 国网陕西电力有限公司数字化项目(B326PX23001); 陕西省自然科学基础研究项目(2022JM317)