基于多任务学习的跨语言信息检索方法研究

摘要

跨语言信息检索是信息检索领域的重要任务之一。现有的跨语言神经检索方法通常使用单任务学习，单一的特征捕捉模式限制了神经检索模型的性能。为此，本文提出一种基于多任务学习的跨语言检索方法，利用文本分类任务作为辅助任务，使用共享文本特征提取层同时捕捉2个任务的特征信息，使其学习不同任务的特征模式，然后将特征向量分别输入到神经检索模型和文本分类模型中完成2个任务。另外，文本分类任务引入的外部语料也在一定程度上起到了数据增强的作用，进一步增加了特征信息的层次。在CLEF 2000-2003数据集的4个语言对上进行的实验表明，本方法明显改善了文本特征提取的效果，从而增强了神经检索模型性能，使神经检索模型的MAP值提高0.012～0.188,并使模型收敛速度平均提高了24.3%。

关键词

信息检索 / 多任务学习 / 跨语言信息检索 / 神经检索模型 / 外部语料