基于变分信息瓶颈多任务算法的多领域文本分类

摘要

多领域文本分类存在领域差异和词汇差异，导致分类的准确性和泛化性低，传统方法无法取得很好的效果.针对上述问题，本文提出基于变分信息瓶颈多任务算法的多领域文本分类方法，将任务建模为从综合特征中提取任务专属特征的分层学习表示问题.首先基于信息瓶颈原理，将综合特征和任务专属特征之间存在的冗余信息建模为均值为零，方差为对角矩阵的加性噪声，通过重参数化方法让噪声参与模型训练；其次通过信息瓶颈的变分边界构建模型损失函数以限制模型的信息流动，从而将带有加性噪声的综合特征解耦为任务专属特征；最后通过解码器中的分类器处理任务专属特征得到文本分类结果 .实验表明，该模型在FDU-MTL多领域文本分类数据集上的平均分类准确率达到92.17%，较多个对比模型有明显提升，且该模型具有更好的可解释性.

关键词

信息瓶颈 / 多任务模型 / 多领域 / 变分边界 / 可解释性