基于样本难度的神经机器翻译动态学习方法

摘要

近年来,神经机器翻译模型已经成为机器翻译领域的主流模型,如何从大量的训练数据中快速、准确地学习翻译知识是一个值得探讨的问题。不同训练样本的难易程度不同,样本的难易程度对模型的收敛性有极大影响,但是传统的神经机器翻译模型在训练过程中并没有考虑这种差异性。本文探究样本的难易程度对神经机器翻译模型训练过程的影响,基于"课程学习"的思想,为神经机器翻译模型提出了一种基于样本难度的动态学习方法:分别从神经机器翻译模型的翻译效果和训练样本的句子长度2方面量化训练样本的难易程度;设计了由易到难和由难到易2种学习策略训练模型,并比较模型的翻译效果。

关键词

神经机器翻译 / 课程学习 / 样本难度 / 动态学习

基金资助

北京智源人工智能研究院(BAAI2019ZD0306); 国家自然科学基金(61722211,61872338,61902381); 中国科学院青年创新促进会(20144310); 国家重点研发计划(2016QY02D0405); 联想-中科院联合实验室青年科学家项目; 重庆市基础科学与前沿技术研究专项(cstc2017jcjyBX0059); 泰山学者工程专项(ts201511082)