目标检测模型的类别语义和全局关系蒸馏

摘要

知识蒸馏是一种将知识从复杂的教师模型转移到轻量级学生模型的模型压缩技术.现有的为分类任务而设计的知识蒸馏方法在目标检测任务上的性能并不理想，仅观察到微小的改进.与分类任务相比，目标检测任务会在自然图像中同时定位和分类多个目标对象，这些目标对象往往具有不同的尺度和外观以及复杂的类间关系，并且分布在不同的位置，导致目标中心或周围区域以及前景和背景区域等都有可能对蒸馏有不同的贡献，知识在检测任务中变得相当模糊和不平衡，这使得目标检测中的知识蒸馏变得非常具有挑战性.为解决这个问题，本文提出一种新的基于注意力的目标检测知识蒸馏框架——类别语义和全局关系蒸馏，前者关注每个类别目标的关键前景位置，后者捕捉各类别目标像素之间的全局长远距离依赖关系.为验证本文所提出方法的有效性和泛化性，分别在SODA10M、PASCAL VOC和MiniCOCO三个具有挑战性的数据集基准上进行了实验.在多种目标检测器上，经过蒸馏之后的学生模型都取得了较大的性能改进.对于RetinaNet ResNet-50，其m AP在SODA10M数据集上提升了4.67，其AP₅₀在PSACAL VOC数据集上提升了2.64.

关键词

知识蒸馏 / 目标检测 / 模型压缩 / 注意力机制 / 计算机视觉

基金资助

中央高校基本科研业务费专项资金资助项目（FRF-DF-20-12,FRF-GF-18-017B）