融合句法感知的双向解码神经机器翻译模型

摘要

针对Transformer采用自回归解码器从左向右进行解码,不能充分利用上下文信息等问题,提出了一种融入句法感知的双向解码神经机器翻译模型。首先,在传统Transformer模型的基础上增加一个反向解码器,采用前向解码器和后向解码器进行双向解码,使得生成的解码结果可以包含上下文信息。其次,针对机器翻译中常见的曝光偏差问题,在模型中又加入一个前向解码器,通过优化Teacher Forcing机制来平衡Teacher Forcing训练阶段和自回归测试阶段解码环境的差异,缓解曝光偏差问题。最后,融合依存句法,生成具有句法指导的目标语言句子。实验结果表明,提出的翻译模型在中-英翻译任务上的BLEU值可以达到24.38,比基准模型提高了1.17个BLEU点,在英-德翻译任务上的BLEU值可以达到28.06,比基准模型提高了0.96个BLEU点。

关键词

神经机器翻译 / Transformer模型 / 双向解码 / 依存句法 / 自回归解码器