基于BERT的中文长文本分类模型研究

郝婷; 冯赛赛

doi:10.16009/j.issn.1009-5624.2026.12.017

信息记录材料 ›› 2026, Vol. 27 ›› Issue (12) : 49 -51. DOI: 10.16009/j.issn.1009-5624.2026.12.017

基于BERT的中文长文本分类模型研究

郝婷, 冯赛赛

作者信息 +

Author information +

文章历史 +

摘要

网络文本通常是以非结构化的形式存在，如何对非结构化文本数据进行分类，是自然语言处理领域一直在探索和研究的问题。基于此，本文提出一种融合注意力机制的基于Transformer的双向编码(BERT)和双向长短期记忆网络(BiLSTM)相结合的长文本分类模型BERTRAtt。首先将经预处理的中文原始语料输入嵌入层中得到词向量；其次将词向量输送到注意力机制层和双向LSTM层进行特征提取；最后通过与其他模型进行对比，证明本文所提模型在长文本分类任务上性能更优，验证了模型的有效性。