基于预训练模型与双向注意力流的抽取式阅读理解模型

摘要

针对服务机器人的抽取式阅读理解任务中出现答案抽取准确度不高的问题，构建了基于预训练模型与双向注意力流的抽取式阅读理解模型。该模型首先采用预训练模型来提取问题与文档上下文的浅层联合语义表征；其次利用双向注意力网络来加强特征交互和信息融合，得到问题与文档上下文的深层联合语义表征；最后结合浅层和深层的联合语义表征，通过排序、滤错和定位操作完成对答案的抽取。在抽取式问答任务的斯坦福英文机器阅读理解数据集SQuAD 1.1和“讯飞杯”中文机器阅读理解数据集CMRC 2018上进行了实验。结果表明：与英文预训练语言模型BERT相比，该模型的性能指标E_M和F1值分别提高了1.172%和1.194%；与中文预训练语言模型RoBERTa-wwm-ext相比，该模型的E_M和F1值分别提高了1.336%和0.921%。

关键词

自然语言处理 / 机器阅读理解 / 预训练模型 / 双向注意力流(BERT) / RoBERTa-wwm-ext / 答案抽取