面向知识蒸馏的多任务学习文档级关系抽取

摘要

当前文档级关系抽取方法在建模过程中仍面临语义信息建模不充分、训练数据稀疏等挑战，限制了模型性能的进一步提升。针对上述问题，提出了一种融合知识蒸馏机制的多任务学习文档级关系抽取模型。采用参数硬共享的多任务学习框架，将关系抽取任务与证据检索任务进行联合建模，促进多种语义特征的协同学习，从而增强模型对长文本中实体关系的理解与表达能力；引入知识蒸馏机制，将远程监督数据中教师模型学到的潜在知识迁移到学生模型中，有效缓解训练数据稀疏带来的学习困难，提升模型的鲁棒性与泛化能力。在公开的DocRED数据集上进行的实验表明，提出的方法在关系抽取和证据检索任务中的F₁值分别比现有最优方法DuRE提升了1.86百分点和3.05百分点，展现出较强的性能优势。实验结果充分验证了模型在融合多任务学习与知识蒸馏方面的有效性，为文档级关系抽取任务提供了一种可行且高效的改进路径。

关键词

文档级关系抽取 / 多任务学习 / 知识蒸馏

基金资助

国家自然科学基金项目(62377007); 重庆市高等教育教学改革研究重大项目(221017)