基于BERT和图注意力网络的医疗文本因果关系抽取算法

摘要

目的 提出一种能够有效抽取因果关系的算法，以提高医疗领域文本处理的准确性。方法 提出基于Transformer的双向编码器(bidirectional encoder representations from Transformers, BERT)和因果图注意力网络(causal graph attention networks, CGAT)的BERT-CGAT算法。首先构建因果关系图，利用医疗文本对BERT模型进行微调，以获得优化的实体嵌入表示；随后通过知识融合通道整合文本编码信息与因果结构，输入至图注意力网络；采用多头注意力机制并行处理不同子空间信息，增强复杂语义关系捕捉能力；最后通过双通道解码层实现实体及因果关系的同步抽取。结果 在自建的糖尿病因果实体数据集上的实验表明，模型在准确率(99.74%)与召回率(81.04%)上较传统BiLSTM-CRF基线提升0.65%和16.73%,F1分数达80.83%。结论 BERT-CGAT算法通过结合BERT的语义特征提取能力和图神经网络的关系建模优势，有效提升了医疗文本因果关系抽取的准确性，验证了该方法的有效性。

关键词

医疗文本 / BERT模型 / 图注意力网络 / 因果关系抽取