基于分数阶高斯噪声的BERT情感文本分类研究

摘要

由于BERT模型庞大的参数量和在预训练阶段的过拟合问题，本文针对性地提出了基于分数阶高斯噪声（fGn）的即插即用模块FGnTune.该模块利用fGn引入随机性，用于提高BERT预训练模型在情感文本分类任务中的性能. fGn是具有长程依赖和非平稳性的随机信号，通过在BERT微调阶段为参数融入fGn噪声，进一步增强模型的鲁棒性，降低过拟合的可能性.通过对不同网络模型及多种数据集进行实验分析，在不需增加模型的额外参数或增加其结构复杂度的前提下，引入FGnTune模块可以使模型的准确率在原有基础上提升约0.3%～0.9%.

关键词

文本分类 / BERT / 情感文本 / 深度学习

基金资助

国家自然科学基金面上项目（62171303）; 分数阶忆阻模拟实现的新标度电路结构及其电气特性变化规律研究（62171303,2022―2025年）