面向CNN和Transformer的自注意力机制自适应性提示学习

摘要

随着大规模预训练模型对视觉领域中的一般性数据的深入研究，当将其应用于特定下游任务时，若模型只训练分类头方法则极其依赖于预训练模型且效果一般；而全面微调预训练模型也因模型参数过大而变得不切实际；另外如VPT等视觉提示学习方法在图像数据集具有很大的数据多样性时，每个数据集的通用提示在向原始预训练数据分布转变时会带来极大的挑战.基于以上的种种挑战，本文提出一种新的提示学习方法，即在输入空间中添加特定任务的自注意力机制提示块，并在增强通道间的竞争条件下，引入极小的参数量进行预训练模型的自适应性调整，最终实现将视觉领域中具有一般性的特征信息应用于特定的视觉任务.实验以CNN和Transformer代表性的网络为基础模型并选取CIFAR、Tiny ImageNet等数据集，结果表明本文提出的方法相比常见的微调方法在平均准确率上提高了0.55%、1.86%.

关键词

模型的微调 / 数据多样性 / 提示学习 / 自注意力机制提示块 / 自适应性调整

基金资助

国家自然科学基金项目(62276158)资助; 山西省回国留学人员科研项目(2021-007)资助