以对比学习与时序递推提升摘要泛化性的方法

摘要

为了有效缓解基于交叉熵损失函数训练的传统文本摘要模型所面临的推理过程中性能下降、泛化性较低、生成过程中曝光偏差现象严重、生成的摘要与参考摘要文本相似度较低等问题，提出了一种新颖的训练方式，一方面，模型本身以beamsearch的方式生成候选集，以候选摘要的评估分数选取正负样本，在输出的候选集中以“argmax-贪心搜索概率值”和“标签概率值“构建2组对比损失函数；另一方面，设计作用于候选集句内的时序递推函数引导模型在输出每个单独的候选摘要时确保时序准确性，并缓解曝光偏差问题。实验表明，所提方法在CNN/DailyMail和Xsum公共数据集上的泛化性得到提升，Rouge与BertScore在CNN/DailyMail上达到47.54和88.51,在Xsum上达到了48.75和92.61。

关键词

自然语言处理 / 文本摘要 / 对比学习 / 模型微调