基于全局和局部注意力交互机制的语义理解模型

摘要

针对完形填空式阅读理解中现有方法不能充分利用已知文档和所提问题间交互信息的不足,提出一种基于全局和局部注意力交互机制的语义理解模型。采用不同的双向门控递归单元编码器对问题描述进行编码,得到问题描述的全局和局部特征信息,并分别与编码后的文档信息进行匹配,计算不同颗粒度下的语义相似度,以此确定具有不同重要性的文档词汇。采用Avg特征融合算法,将得到的全局与局部特征信息进行加权融合,实现文档与问题描述间准确的语义匹配。实验结果表明,提出的模型在Children's Book Test数据上优于现有的基准模型。

关键词

注意力交互 / 语义理解 / 完形填空 / 特征融合