一种融合BERT和注意力机制的新闻文本分类方法

摘要

文本分类任务是在自然语言处理中的一项重要任务，旨在将给定的文本分配到预定义的不同类别或标签中.针对近年来备受关注的注意力机制和一种基于Transformer结构的预训练模型BERT,该文提出一种基于BERT-TextRCNN-Attention混合神经网络的新闻文本分类方法.为了增强文本的特征表示和模型的分类效果，该分类方法首先使用BERT预训练模型对文本进行预训练，并作为TextRCNN的词向量嵌入，其次采用TextRCNN模型和注意力机制进一步对文本的上下文特征和局部关键特征进行提取，再对新闻文本进行分类；最后在THUCNews数据集上进行对比实验.实验结果表明：该文提出方法在准确率和F₁值上比Transformer、TextRNN、TextCNN、DPCNN等文本分类模型均有所提升.

关键词

BERT模型 / 基于卷积神经网络的文本分类模型 / 注意力机制 / 新闻文本分类

基金资助

国家自然科学基金(61762063)资助项目