基于泛化模板的神经机器翻译数据增强方法

摘要

Transformer模型采用完全自意力机制学习上下文关系，从而打破传统循环神经网络在翻译过程中的长距离限制.然而实际模型预测长句的结果仍然存在困惑度高、上下文衔接不连贯甚至语义缺失等问题；另一方面，现有公开训练语料中长句占比稀缺进一步导致模型难以更好地学习长句表示.为缓解以上问题，提出一种优化长句翻译的数据增强方法.首先从对源端和目标端的句法分析结果中抽取对应的泛化语言模板，然后将提取的互译模板句与原句对分别进行拼接从而构造最终的伪数据.针对不同拼接策略构造的伪句对，多个公开数据集翻译任务的实验结果表明，相比于基线系统，基于泛化模板的数据增强方法提升了模型的翻译性能，且有效提高了模型对长句翻译的准确性.

关键词

数据泛化 / 句法分析 / 数据增强

基金资助

辽宁省自然基金项目(2022-MS-291,2021-YKLH-12,2022-YKLH-18); 辽宁省教育厅科研项目(LJ2020024);辽宁省教育厅基本科研项目(LJKMZ20220781); 中国高校产学研创新基金(2021LD06009)