基于对比学习的临床领域意图识别算法研究

摘要

随着电子信息化的发展，智能搜索、知识问答等应用被越来越多地应用在临床领域中．意图识别作为其中重要的一部分，随着这类应用的逐渐兴起，受到越来越多的关注．意图识别即理解用户问句的意图．在自然语言处理中，意图识别的本质是文本分类问题．针对意图识别工作，大量的研究和探索用以理解用户的文本输入，并将其映射到预先给定的意图类别中．本文提出一种基于对比学习的意图识别算法，根据文本的长度和意图类别的数量，将意图识别定义为短文本多分类问题．通过将对比学习引入到分类模型的训练中，提高模型的最终效果．在有监督学习场景中，采用R-drop对比学习方法．该方法选择dropout作为数据增强的方式，同时通过增加一个正则项来强化模型对dropout的鲁棒性．同时，对数据进行无监督训练，作为预训练阶段．并在预训练过程中选择SimCSE对比学习方法．最终将无监督学习与有监督学习结合，形成基于半监督学习的R-SimCSE模型．实验选取textCNN、textRNN、textRCNN、BERT-base、prompt等多种分类模型进行对比．实验结果显示，基于对比学习的分类模型效果优于文中选择的其他分类算法模型，在CHIP-QIC数据集上，准确率提升了0.009 7～0.049 3.

关键词

意图识别 / 文本分类 / 对比学习

基金资助

国家重点研发计划资助项目(2022YFF1202400); 天津市自然科学基金资助项目(20JCZDJC00810)