基于知识蒸馏的图像分类框架

赵宏伟; 武鸿; 马克; 李海

doi:10.13229/j.cnki.jdxbgxb.20230128

吉林大学学报(工学版) ›› 2024, Vol. 54 ›› Issue (08) : 2307 -2312. DOI: 10.13229/j.cnki.jdxbgxb.20230128

基于知识蒸馏的图像分类框架

赵宏伟, 武鸿, 马克, 李海

作者信息 +

Author information +

文章历史 +

摘要

为解决在图像分类任务中难以有效融合CNNs与Transformer网络特征的问题，提出了一种基于知识蒸馏的图像分类框架（Knowledge distillation image classification,KDIC）。KDIC框架中根据CNNs与Transformer网络结构的差异设计了多种知识蒸馏方法：本方法有效地将CNNs的局部特征与Transformer的全局表示融入轻量的student模型中，并基于不同的知识蒸馏方法提出有效的损失函数来提升图像分类任务的性能。图像分类实验在CIFAR10、CIFAR100、UC-Merced 3个公开数据集上进行，实验结果表明；KDIC框架与当前的知识蒸馏方法相比有着明显的优势，同时KDIC在不同师生网络下仍然具有良好的性能和泛化性。