结合对比学习和提示调优的层次文本分类方法

摘要

层次文本分类是文本分类领域一项重要的子任务，但复杂的标签层次结构使其具有挑战性.目前最先进的方法通过预训练语言模型对文本进行编码，并结合图编码器处理标签结构信息.但是，独立建模文本和标签信息可能导致信息利用率不高，预训练和微调阶段的不同策略也限制了模型挖掘预训练模型的知识.本文提出一种结合对比学习和提示调优的层次文本分类方法，将层次标签信息嵌入到文本编码过程，同时设计提示模板整合标签信息，捕获文本与标签的关联性，弥合预训练模型与下游任务间的差距.借助对比学习，根据标签信息生成正样本，强化模型对关键特征的学习与保留，使模型有效指导文本特征表示的学习.在两个公开数据集上的大量实验表明了方法的有效性.

关键词

层次文本分类 / 提示调优 / 对比学习 / 深度学习 / 自然语言处理

基金资助

安徽省重点研究与开发计划项目(202004d07020009)资助