基于知识蒸馏的图像分类框架

摘要

为解决在图像分类任务中难以有效融合CNNs与Transformer网络特征的问题，提出了一种基于知识蒸馏的图像分类框架（Knowledge distillation image classification,KDIC）。KDIC框架中根据CNNs与Transformer网络结构的差异设计了多种知识蒸馏方法：本方法有效地将CNNs的局部特征与Transformer的全局表示融入轻量的student模型中，并基于不同的知识蒸馏方法提出有效的损失函数来提升图像分类任务的性能。图像分类实验在CIFAR10、CIFAR100、UC-Merced 3个公开数据集上进行，实验结果表明；KDIC框架与当前的知识蒸馏方法相比有着明显的优势，同时KDIC在不同师生网络下仍然具有良好的性能和泛化性。

关键词

计算机应用 / 知识蒸馏 / 图像分类 / 卷积神经网络