基于BERTGAT-Contrastive的语义匹配模型

摘要

针对仅使用BERT最后一层信息进行预测导致丢失一些文本的词法、句法和语义信息的问题，提出了一种基于BERT与图注意力网络（GAT）的BERTGAT模型。首先，通过利用BERT多个中间层的隐藏状态矩阵和注意力矩阵分别作为对应数量GAT的节点特征矩阵和邻接矩阵，并采用动态权重策略对不同的GAT层进行加权，再应用激活函数判断句子间的相似性。其次，为了使BERTGAT模型能够更好地学习到句子对之间的语言表征，在BERTGAT的基础上引入了对比学习方法，提出了BERTGAT-Contrastive模型，增强了模型对文本之间语义相似性的识别能力。最后，通过在LCQMC和BQ数据集上进行实验，结果表明：本文提出的模型与对比学习方法相比效果更显著，准确率和F₁值均有明显提升。

关键词

深度学习 / 语义匹配 / BERT / 图注意力网络 / 对比学习