融合多特征和多头自注意力机制的高校学业命名实体识别

摘要

为了有效解决高校学业领域实体归属和实体嵌套问题，提出一种基于多特征融合和多头自注意力机制的中文命名实体识别模型Multi-feature BiGRU-MHSA-CRF（MBMC）。该模型从字、词、位置三个方面对文本语义特征进行表示，丰富多维度学业文本语义特征，并将特征向量输入到双向循环神经网络（Bi-directional recurrent neural network,BiGRU）以捕获全局语义特征。为了解决高校学业领域实体边界划分问题，对注意力机制进行改进，引入带有Q、K、V权重矩阵的多头自注意力机制，增加学习参数，提升识别准确率，将所有可能的标签序列输出到条件随机场（conditional random fields, CRF）,通过CRF解码生成实体标签序列。试验结果表明，该模型F₁值在公开数据集CoNLL2003和高校学业领域数据集分别达到89.57%、86.14%,优于其它传统模型。

关键词

高校学业 / 命名实体识别 / 多特征融合 / BiGRU / 多头自注意力机制