基于Transformer交叉集成特征的实体关系抽取

摘要

提出基于Transformer交叉集成特征的实体关系抽取模型ERonTCI,通过对不同层次特征信息的交叉集成来提升实体关系抽取的精度.ERonTCI模型将BERT预训练模型作为嵌入层，将BiGRU网络和MSCNN网络作为主干结构，分别提取文本中的全局特征和局部特征；使用Transformer实现对全局和局部特征的集成，以避免信息损失，提升模型对文本特征信息的保留度；将集成后的特征信息输入线性层完成实体关系的抽取工作.在公开数据集上进行实验，结果表明，ERonTCI模型取得了比基线模型更好的实体关系抽取效果.

关键词

实体关系抽取 / Transformer / BiGRU / MSCNN