基于动态-分层-对抗协同优化的知识增强BERT文本分类模型

摘要

像BERT这样的预训练语言模型擅长捕捉通用语言模式，但由于缺乏结构化知识，在特定领域的文本分类中表现不佳。为了使模型在特定领域拥有出色的推理能力，知识注入逐渐成为主流。然而，过度的知识融合会改变句子的正确含义，导致知识噪声（Knowledge Noise, KN）问题。为了克服领域特定知识缺口和知识噪声在文本分类领域的影响，本文提出了一个三重增强的BERT框架，具体包括：1）知识增强动态注意力（Knowledge-Enhanced Dynamic Attention, KEDA）; 2）分层知识融合网络（Hierarchical Knowledge Fusion Network,HKFN）; 3）对抗性知识正则化（Adversarial Knowledge Regularizer,AKR）。在7个不同领域的语料库上进行的文本分类实验表明，本文所提模型与之前的模型相比，性能有显著提升。

关键词

知识增强 / 动态注意力 / 分层知识融合 / 知识正则化 / 文本分类