基于适配器技术的开放域问答及应用

摘要

开放域问答技术是自然语言处理领域的重要研究课题，通常采用编码器来学习自然语言问句和段落的密集表示，以进行语义匹配.现有的工作主要通过硬负例挖掘、知识蒸馏或预训练的方式来提高开放域问答系统的性能，但面临参数过多难以进行参数高效学习以适应下游推理任务的需求.为了解决此问题，本文提出了一种基于适配器技术的参数高效学习的开放域问答算法（EPLA）.首先，通过基于路由的令牌分配策略减少了编码候选片段的计算成本.其次，通过引入基于混合专家的适配器架构，在训练过程中冻结预训练模型的参数，只更新适配器、令牌分配器以及层归一化的参数.最后，通过强化学习的方式构建动态适配器模块，以获得最优的网络架构.验结果表明，EPLA在保持检索性能的同时，能够较大地提升开放域问答算法的效率.

关键词

开放域问答 / 参数微调 / 预训练模型 / 自然语言处理