基于预训练大模型的电网电力客服系统优化方法

摘要

电网客服系统用户规模庞大、业务场景复杂，亟需采用智能化技术实现用户诉求的自动精准分类。尽管深度学习模型在文本分类任务中展现出显著潜力，但电力客服文本存在的巨大长度差异，严重制约了该类模型在工单分类中的实际性能。为了提升客服系统工单分类性能，本文提出一种基于预训练大模型的电网客服系统分类优化方法。首先，对文本信息的重要度进行排序，利用TF-IDF和Text-Rank提取长文本中的全局关键信息，并建立自适应文本长度方法，在模型能力范围内最大限度地保留分类样本中的重要分类信息，避免关键信息丢失。其次，针对电力客服领域特点，利用分类标签与关键信息之间的关联性构建专家经验向量，作为辅助特征增强模型语义理解能力。最后，本文在真实电网客服数据集上开展实验，将所提方法应用于多种模型。结果表明，该方法能够显著改善模型分类性能，应用于预训练大模型BERT和ERNIE后，分类准确率分别提升10%与8%,验证了所提方法在电力客服文本分类任务中的有效性与适用性。

关键词

电力系统 / 大语言模型 / 文本分类 / 专家经验 / 自适应长度