基于提示学习的生成式文本摘要研究

摘要

针对现有生成式自动摘要方法常常依赖模型预先设定的规则或训练过程中的数据和方法的限制，未能完全发挥预训练模型对原文语义的学习潜力，导致生成的内容在连贯性和一致性等方面存在一定的不足问题，本文以大语言模型ChatGLM3-6b为基础，借助P-Tuning v2微调技术，将大模型的下游任务调整为文本摘要生成任务.这一方法的关键在于向数据集中添加提示信息，并设计了一套人工提示模板，协助模型在微调训练时能够更好地理解并生成摘要.实验结果表明，通过合理设计提示模板，本文模型在公开数据集上的ROUGE-1、ROUGE-2和ROUGE-L比最优的基线模型提升了2%～4%.此外，通过对相同实验数据集上的不同实验指标进行比较分析，发现针对不同长度的文本，采用不同的微调方法更为有效.P-tuning v2微调更适用于处理长文本的摘要生成任务，而LoRA微调则更适用于处理短文本.综上所述，加入提示词后生成的摘要效果明显改善，进一步证实了提示学习在文本摘要生成任务中的有效性和实用性.

关键词

提示学习 / 文本摘要 / 大语言模型 / ChatGLM