基于BERT-BiGRU-CRF模型的岩土工程实体识别

王权于; 李振华; 涂志鹏; 陈冠宇; 胡君; 陈嘉麒; 陈建军; 吕国斌

doi:10.3799/dqkx.2022.462

地球科学 ›› 2023, Vol. 48 ›› Issue (08) : 3137 -3150. DOI: 10.3799/dqkx.2022.462

基于BERT-BiGRU-CRF模型的岩土工程实体识别

王权于 ¹^,² ,
李振华 ¹^,² ,
涂志鹏 ² ,
陈冠宇 ¹ ,
胡君 ¹ ,
陈嘉麒 ² ,
陈建军 ² ,
吕国斌 ¹^,²

作者信息 +

Geotechnical Named Entity Recognition Based on BERT-BiGRU-CRF Model

Quanyu Wang ¹^,² ,
Zhenhua Li ¹^,² ,
Zhipeng Tu ² ,
Guanyu Chen ¹ ,
Jun Hu ¹ ,
Jiaqi Chen ² ,
Jianjun Chen ² ,
Guobin Lv ¹^,²

Author information +

文章历史 +

PDF (4135K)

摘要

岩土工程实体识别是岩土工程文本挖掘和知识谱图的工作基础和重要前提. 针对岩土工程实体识别问题，参考《GB/T 50279-2014：岩土工程基本术语标准》等国家行业标准规范，设计和构建了一个小规模的岩土工程命名实体语料库；提出了一种岩土工程文本命名实体识别深度学习模型BERT-BiGRU-CRF（简称：GENER）：表示学习层采用BERT预训练语言模型实现了岩土工程文本特征的迁移表示学习；BiGRU上下文编码层实现对岩土工程文本上下文特征编码；CRF标签解码层解决了标签间依赖约束，生成符合标注规律的岩土工程命名实体标签序列；最后，基于岩土工程命名实体语料库，对GENER模型进行了实验分析. 在对照实验中，取得了良好效果：精确率P达到了90.94%，召回率R达到了92.88%，F1值达到了91.89%，模型训练速度提升了4.735%. 实验结果表明相比基线模型BiLSTM-CRF和其他预训练模型，GENER模型在小规模语料岩土工程命名实体识别方面效果更优，未来可推广应用到其他地质类文本命名实体识别任务.