词元与上下文双路表征融合的小样本命名实体识别方法

摘要

现有的命名实体识别方法需要大量训练数据，在小样本场景下容易过拟合.针对该问题，提出一种基于预训练模型掩码预测的方法，引入上下文信息改善模型泛化能力.首先使用两路BERT(Bidirectional Encoder Representation from Transformers)预训练模型，通过掩码替换计算当前词汇的词元表征和上下文表征；随后计算两者在BERT词表上的概率向量，使用自适应门控机制加权求和获得融合概率.若预测概率最大的词为本文预定义的类别标签词，则将当前词元分类为实体，否则分类为非实体.在来自不同领域的CoNLL03、OntoNotes5.0以及MIT-Movie数据集上的实验结果表明，所提算法的平均F1值相较于基准方法提升了12%,相较于提示词方法提升了4%～11%,有效改善了小样本下的泛化性能，证明引入上下文信息的有效性.

关键词

小样本学习 / 命名实体识别 / BERT / 掩码预测