置信度优化的k近邻机器翻译方法

摘要

k近邻机器翻译(kNN-MT)通过检索外部数据存储中的翻译知识，显著地提升神经机器翻译(NMT)模型预测的准确性.然而，使用固定的融合比例聚合NMT模型预测和kNN检索的概率分布容易使模型受到检索结果中噪声的干扰，且kNN检索的高延迟特性限制了其实际应用.为此，本文提出了一种基于置信度优化的k近邻机器翻译方法.具体地，引入置信度估计模块动态评估NMT预测的概率分布与kNN检索分布的可靠性，以自适应的方式计算概率融合比例以提升翻译的准确性.同时，基于模型的置信度修剪数据存储中冗余的知识实例，提升模型的解码效率.在两组特定语言对翻译任务的实验结果表明，该方法在翻译质量和解码效率上均显著优于标准的kNN-MT模型.

关键词

k近邻机器翻译 / 数据存储 / 检索 / 置信度