基于生成对抗网络的知识蒸馏研究综述

摘要

为了总结生成对抗网络在知识蒸馏中的应用，探索生成对抗网络在知识蒸馏中的协同机制与优化潜力，本研究开展基于生成对抗网络的知识蒸馏研究综述。概述基于输出层特征的知识蒸馏、基于中间层特征的知识蒸馏、基于关系特征的知识蒸馏、基于结构特征的知识蒸馏4种知识蒸馏研究进展，分析不同知识蒸馏形式的优势和缺点。详细介绍基于生成对抗网络的知识蒸馏分类和相关研究进展。针对生成对抗网络的知识蒸馏技术存在的局限性，给出未来优化方向和拓展应用方向。

关键词

知识迁移 / 模型压缩 / 知识蒸馏 / 模型轻量化 / 生成对抗网络