基于增强全局特征提取的分类大模型框架

陈可纬; 刘建华; 陈治铭; 柯添赐; 徐戈

doi:10.16749/j.cnki.jecjtu.20250909.002

华东交通大学学报 ›› 2026, Vol. 43 ›› Issue (02) : 115 -126. DOI: 10.16749/j.cnki.jecjtu.20250909.002

基于增强全局特征提取的分类大模型框架

陈可纬, 刘建华, 陈治铭, 柯添赐, 徐戈

作者信息 +

Author information +

文章历史 +

PDF

摘要

大语言模型（LLMs）通常采用指令微调方法适应下游任务，以增强其泛化能力，然而该方法针对LLMs的分类任务存在一定的性能局限性，有时无法满足任务需要。针对上述问题，提出一种全局特征提取分类大模型框架。该框架使用本文提出的全局特征提取增强方法，在注意力层释放全局特征，再对特征进行增强，并在微调的过程中运用低秩微调优化损失，最后构建一个全局特征提取的分类大模型。与基线模型RoBERTa相比，在通用情感分析数据集SST-2和AGNews上，准确率分别提升1.44个百分点和0.95个百分点。与基线模型PIQN模型相比，在通用命名实体识别（NER）数据集OntoNotes和CoNLL2003中，F₁分数分别提升0.79%和1.99%。实验结果表明，在不需要复杂的提示工程或外部知识的条件下，使用该框架的大模型性能显著优于其数倍规模的LLMs。