基于BERT与密集复合网络的长文本语义匹配模型

摘要

针对长文本语义匹配中词向量前后之间联系不易捕获以及主题信息可能不唯一，通常使得语义匹配效果不佳的问题，提出了一种基于BERT与密集复合网络的长文本语义匹配方法，通过BERT嵌入与复合网络的密集连接，显著提高了长语义匹配的准确率。首先，将句子对输入BERT预训练模型，通过迭代反馈得到精准的词向量表示，进而得到高质量的句子对语义信息。其次，设计了一种密集复合网络，先由双向长短期记忆网络（Bi-LSTM）获得句子对的全局语义信息，然后由TextCNN提取并整合局部语义信息得到每个句子的关键特征和句子对间的对应关系，并将BERT与Bi-LSTM的隐藏输出与TextCNN的池化输出融合。最后，汇总训练过程中网络之间的关联状态，可以有效防止网络退化和增强模型判断能力。实验结果表明，在社区问题回答（CQA）长文本数据集上，本文方法平均提升幅度达到45%。

关键词

深度学习 / 长文本语义匹配 / BERT / 密集复合网络 / Bi-LSTM / TextCNN