基于伪孪生网络的无监督学习多语言神经机器翻译方法

摘要

无监督神经机器翻译采用单语数据进行训练时会产生大量噪音信息，使得机器翻译模型在训练迭代过程中的误差不断积累，影响翻译效果。针对此问题，在跨语言预训练模型(XLM)的基础上，提出了一种基于伪孪生网络的无监督神经机器翻译方法。该方法将模型编码器分为两个模块，其中伪孪生网络部分引入了一种噪声过滤门机制，利用其对编码过程中的噪音特征进行过滤，使得模型能够更好地学习源语言和目标语言之间的映射关系。实验结果表明：在英语同德语、法语、罗马尼亚语3种语言之间的交互翻译任务中，所提方法相较于基线系统平均提升了3.5百分点，证明了其翻译效果的优越性，并使用消融实验对该模型各组件进行了有效性验证，同时在德译英翻译任务中模拟了该方法在不同噪声条件下的性能测试，表现出较好的抗噪性。

关键词

无监督机器翻译 / 伪孪生网络 / 单语数据 / 噪声过滤门机制 / 跨语言预训练模型