基于领域知识蒸馏的旅游文本情感分类轻量模型

摘要

针对预训练模型参数多且推理时间长导致在真实旅游场景应用受限的问题，提出一种知识蒸馏和领域知识融合的文本情感分类轻量模型(lightweight model for knowledge distillation and domain knowledge fusion, KD-DKF)。构建了旅游领域词典；在BERT-WWM-EXT模型的基础上加入改进的词性因子向量和位置信息相似度矩阵得到融入领域信息的BERT-WWM-EXT模型(domain information BERT-WWM-EXT,DI-BERT-WWM-EXT);考虑旅游场景对高效且轻量模型的需求，结合知识蒸馏理论，选择DI-BERT-WWM-EXT作为教师模型指导双向长短期记忆网络进行蒸馏，完成KD-DKF的构建。实验结果表明，KD-DKF准确率可达85.79%,高于其他8个同类别轻量模型；总训练时间为152.43 s,参数量为9.62×10～6,在保持较高准确率的同时提高了分类效率。

关键词

知识蒸馏 / BERT-WWM-EXT模型 / 双向长短期记忆网络 / 领域知识