基于梯度权值追踪的域自适应分类研究

摘要

本文提出一种基于梯度权值追踪的剪枝与优化算法(GWP),旨在解决无监督领域中存在的过拟合问题，即在下游任务上的精度远低于在训练集上的精度.针对无监督领域自适应中基于差异与基于对抗的方法，将稠密-稀疏-稠密策略应用于解决过拟合问题.先对网络进行密集预训练，并学出哪些连接是重要的；在剪枝阶段，与原有的稠密-稀疏-稠密策略中的剪枝过程不同，本文的优化算法同时将权值和梯度联合考虑，既考虑到了权值信息(即零阶信息),也考虑到了梯度信息(即一阶信息)对网络剪枝过程的影响；在重密集阶段，恢复被修剪的连接，并以较小的学习率重新训练密集网络.最终，得到的网络在下游任务上取得了理想的效果.实验结果表明，与原有的基于差异和基于对抗的领域自适应方法相比，本文提出的GWP可以有效提升下游任务精度，且具有即插即用的效果.

关键词

梯度权值追踪 / 无监督领域自适应 / 稠密-稀疏-稠密 / 过拟合 / 零阶信息 / 一阶信息

基金资助

科技创新2030—“新一代人工智能”重大项目(2018AAA0100400); 国家自然科学基金(U21B2049,61936005)