基于多特征融合和注意力机制的中文命名实体识别

摘要

近年来，基于字符级嵌入的BERT模型和基于词融合的模型都在中文命名实体识别领域取得了较好的效果，但目前这些模型从字符序列中提取出的特征信息还不够充分，模型性能还有一定的提升空间.因此本文提出了一种用于中文命名实体识别的多特征融合模型，首先将输入中文语句转换为字词对序列，通过RoBERTa-wwm预训练语言模型将字词对序列中的字符序列表征为字符向量，获得全局语义特征；然后把词序列转化为词向量，再将字符向量和词向量输入到基于双线性注意力机制的词汇适配器获得字词融合特征；同时将字符向量送入到双向长短时记忆网络（BiLSTM）获得包含字符方向信息的上下文特征；最后将词汇适配器的输出和BiLSTM的输出进行动态特征融合获得包含全局语义信息、词汇信息和方向信息的上下文特征，再通过CRF解码获得最优预测序列.在多个公共数据集的实验结果验证了该模型能提取到更充分的特征信息，提高了识别性能.

关键词

中文命名实体识别 / 多特征融合 / 词融合 / 预训练模型

基金资助

广东省重点领域研发计划项目（2019B010139002）资助; 广东省国际科技合作领域项目（2019A050513010）资助