生成式摘要的事实一致性与文本质量的平衡性研究

摘要

事实一致性的提升已成为生成式摘要领域的一个研究热点，目前的主流方法可分为后编辑和模型机制优化两类.现有的方法虽然有效地提升了事实一致性，但基本上牺牲了文本质量，降低了可读性.针对这个问题，提出了一种结合强化学习与基于排序的对比学习的生成式摘要模型SumRCL.一方面，本文利用基于候选摘要排序的对比学习来提升模型对摘要赋予的概率与该摘要的事实一致性的相关度；另一方面，还使用基于文本质量评估指标的强化学习来保留高度文本质量，其中采用了蒙特卡罗搜索方法来解决中间摘要的评估问题.本文方法在CNN/DM与XSUM数据集上的实验表明，本文提出的SumRCL模型确实有助于生成事实一致性与文本质量都很高的摘要，并分析了对比学习中候选摘要数量和排序指标对最终效果的影响.最后，本文通过人工评估展现了SumRCL比如今流行的大语言模型具有更好的事实性行为.

关键词

生成式摘要 / 事实一致性 / 强化学习 / 对比学习 / 大语言模型

基金资助

国家自然科学基金重点项目(62137001); 四川省重点研发项目(2023YFG0265)