融合网络剪枝和动态扩展的终身文本分类方法

摘要

随着互联网技术的发展，产生了大量的各种背景下的文本信息，包括新闻资料，科学文献等等，这些文本信息所包含的内容并不统一.对于神经网络而言，不断地增加新领域的训练数据必然会导致对旧信息的灾难遗忘.因此在实际应用中，训练出可以终身学习的文本分类器具有很高的应用价值.为此，该文提出了一种基于网络剪枝和动态扩展策略的终身文本分类方法，适用于知识背景不断增加的文本分类场景.具体而言，该文将网络剪枝、参数正则化更新和网络扩展相结合，保证神经网络可以在不遗忘旧任务知识的前提下更有效的学习新任务.通过使用不确定正则化参数更新策略防止旧领域信息的遗忘，实现任务之间的知识迁移.在5个流行的文本分类数据集上进行终身学习的实验设置下进行验证，实验结果表明本文的方法与BERT预训练模型相比高出约10%,并且均优于其他终身学习的方法.

关键词

文本分类 / 终身学习 / 动态网络扩展 / 正则化更新

基金资助

新一代人工智能国家科技重大专项项目(2020AAA0109703)资助; 国家自然科学基金项目(62076167,U23B2029)资助