基于StarGAN的多属性风格图像生成的轻量化网络

孙志伟; 曾令贤; 马永军

doi:10.13364/j.issn.1672-6510.20230048

天津科技大学学报 ›› 2024, Vol. 39 ›› Issue (01) : 57 -64. DOI: 10.13364/j.issn.1672-6510.20230048

基于StarGAN的多属性风格图像生成的轻量化网络

孙志伟, 曾令贤, 马永军

作者信息 +

Author information +

文章历史 +

PDF (1276K)

摘要

生成对抗网络已广泛用于图像到图像的翻译任务，其中多属性变换得到了越来越多的研究和应用，目前网络架构的参数多而且模型复杂，需要较高的计算能力和存储成本；网络压缩技术如蒸馏和剪枝，主要侧重于视觉识别任务，很少实现对生成任务的压缩。本文提出了一种利用Star GAN的低级和高级特征训练参数较少的学生网络(stuStarGAN)的方法，首先采用知识蒸馏对生成器进行蒸馏，并设计学生判别器让教师判别器蒸馏学生判别器；然后在学生网络设计中采用skip-connection进行跨模块的特征融合；接着增加内容损失函数保持生成图像和原图像的内容信息的一致性；最后采用深度可分离卷积进一步降低参数量并提高图像生成质量。在CelebA和Fer2013数据集上的实验结果表明：模型能够在保证生成质量不降低的情况下，用较少参数生成多属性风格的图像，可以方便地移植到多种应用场景。