融合多头注意力的中文命名实体识别方法

摘要

针对现有中文命名实体识别模型特征抽取能力不足，难以捕捉长距离依赖等问题，提出一种融合多头注意力（multi-head attention,MA）和双向门控循环单元（bidirectional gate recurrent unit,BiGRU）的中文命名实体识别方法。首先，使用ALBERT（a lite BERT）预训练模型生成动态表示向量，并将向量序列输入到BiGRU来提取全局语义特征，再利用多头注意力机制捕捉长距离依赖信息来增强语义特征，最后，通过条件随机场（conditional random field,CRF）解码获得最优序列。结果表明，该方法在《人民日报》和MSRA中文数据集上F₁值均超过95%，优于其他模型；同时，该方法相比BERT-BiLSTM-CRF模型，训练时间减少约14.5%，证明了模型的有效性和通用性。

关键词

命名实体识别 / 多头注意力 / 双向门控循环单元 / 条件随机场