结合对抗训练增强和联合损失微调的脚本事件预测方法

摘要

脚本事件预测旨在根据脚本中的历史事件预测最有可能发生的后续事件，这需要有充足的事件样本并拥有学习到更多的上下文信息的能力.以往的方法主要关注局部信息，因而对事件的表征不充分.该文提出了一种基于预训练和微调的方法，通过对抗训练增强样本和联合损失微调来获得更全面的语义信息.首先利用MLM任务和FGM的方法，使模型利用少量信息完成信息间的交互并获取到更多的事件信息.为确保有相同输入的文本能够有一致分布的输出，在微调阶段进行R-Drop调优，进一步提高模型的性能.在广泛使用的《纽约时报》语料库上的实验结果表明，该文提出的方法提升了脚本事件预测的预测性能.

关键词

脚本事件预测 / 上下文信息 / 对抗训练 / 联合损失微调