结合自训练模型的命名实体识别方法

摘要

针对命名实体识别数据集中存在某些实体类别样本过少，使模型学习该类别特征能力较差，导致整体性能较低的问题，提出结合自训练模型的命名实体识别方法。利用已有的命名实体识别数据集训练一个教师模型，通过改进的文本相似度函数搜寻与原数据集最相似的无标签文本，利用教师模型对无标签文本生成伪标签，并将伪标签与有标签数据集混合重新训练一个学生模型用于下游的命名实体识别任务。试验结果表明，相较基线模型，该方法在公共数据集MSRA、CONLL03和法律实体识别数据集上取得更优的性能。

关键词

命名实体识别 / 自训练 / 文本相似度 / 自然语言处理 / 少样本