基于RoBERTa的中医药专利命名实体识别

摘要

中医药发明专利的成分及功能实体具有种类复杂、歧义繁多等特点。针对传统命名实体识别方法无法充分获取其中的语义特征表示，上下文信息及一词多义等问题，提出一种中医药发明专利命名实体识别模型，该模型将RoBERTa-WWM预训练模型、双向长短期记忆(BiLSTM)网络、条件随机场(CRF)三个模块串联结合，将专利摘要依次通过RoBERTa-WWM进行语义提取生成含有先验知识的语义词嵌入；BiLSTM网络增强词嵌入中的上下文特征信息；CRF解码序列，输出概率最大结果。实验结果表明，该模型在真实中医药发明专利文本语料库上，F1值(F-Measure)相较其他主流方法在成分与功能的识别上分别提升了5.80%和6.63%,能有效提升中医药发明专利摘要中药物成分及功能识别的准确率。

关键词

中医药发明专利 / 命名实体识别 / RoBERTa-WWM / BiLSTM