面向中文小样本命名实体识别的BERT优化方法

摘要

为解决中文小样本命名实体识别(NER)任务所面临的问题和挑战，提出了一种面向中文小样本NER的BERT优化方法，该方法包含两方面的优化：首先，针对训练样本数量不足限制了预训练语言模型BERT的语义感知能力的问题，提出了ProConBERT,一种基于提示学习与对比学习的BERT预训练策略.在提示学习阶段，设计掩码填充模板来训练BERT预测出每个标记对应的中文标签词.在对比学习阶段，利用引导模板训练BERT学习每个标记和标签词之间的相似性与差异性.其次，针对中文缺乏明确的词边界所带来的复杂性和挑战性，修改BERT模型的第一层Transformer结构，并设计了一种带有混合权重引导器的特征融合模块，将词典信息集成到BERT底层中.最后，实验结果验证了所提方法在中文小样本NER任务中的有效性与优越性.该方法结合BERT和条件随机场(CRF)结构，在4个采样的中文NER数据集上取得了最好的性能.特别是在Weibo数据集的3个小样本场景下，模型的F1值分别达到了63.78%、66.27%、70.90%,与其他方法相比，平均F1值分别提高了16.28%、14.30%、11.20%.此外，将ProConBERT应用到多个基于BERT的中文NER模型中能进一步提升实体识别的性能.

关键词

中文小样本命名实体识别 / 提示学习 / 对比学习 / 预训练 / 特征融合 / BERT模型

基金资助

国家自然科学基金项目(12271098)资助; 福建省自然科学基金项目(2022J01120)资助; 福建省高校产学合作科技计划项目(2023H6008)资助