基于全局语义信息的GR-BERT模型

摘要

关系抽取是提取实体间关系的一项重要的自然语言处理任务。最近的研究发现，预训练BERT模型在自然语言处理任务中取得了非常好的效果。此后，诞生了大量使用预训练BERT模型处理关系抽取任务的方法，其中具有代表性的是R-BERT方法。但是，该方法在实现时未考虑主语实体与宾语实体在语义上的差异，以及全局语义信息对关系抽取任务准确性的影响。通过设置两个不同的全连接层来分别提取主语实体和宾语实体的信息，从而将主语实体与宾语实体在语义上的差异引入模型的学习过程中。此外，还在原有的信息融合模块后面添加了一层带有激活函数的新全连接层来将高维全局语义信息与实体对充分融合。将融合了语义差异与全局语义信息的R-BERT简称为GR-BERT。通过在中文人物关系抽取数据集上进行实验，结果表明新提出的GR-BERT的效果较原始R-BERT取得了显著提升，从而验证了新方法GR-BERT的有效性。

关键词

BERT模型 / 自然语言处理 / 关系抽取 / 神经网络

基金资助

国家自然科学基金(12001428); 陕西省自然科学基础研究计划一般项目(2024JC-YBQN-0037); 陕西省教育厅专项科研计划项目(23JK0347)