基于选择状态空间的去噪扩散概率模型研究

摘要

针对去噪扩散概率模型（DDPM）的采样效率低、训练时间长和硬件资源开销大等问题，提出了选择状态空间的去噪扩散概率模型。该方法首先用选择状态空间模型（SSM）的动态选择性来提高DDPM在长序列上的采样效率；其次通过多方向扫描图像，使得DDPM扩散时获取更多有效的图像信息；最后利用SSM的线性时间复杂以及并行运算减少DDPM训练时的时间和硬件资源的开销。DDPM、改进的扩散模型（DDIM）、变分自编码器的去噪扩散概率模型（VAE-DDPM）、视觉Transformer的去噪扩散概率模型（VIT-DDPM）和本文方法在ImageNet和人脸图像数据集（FFHQ）数据集进行图像生成实验时，对不同分辨率图像的Frechet距离（FID）、结构相似性（SSIM）、峰值信噪比（PSNR）和生成时间等参数对比分析，本文方法生成128×128图像时FID、SSIM和PSNR的值分别提升了5.6%～22.6%、4.7%～15.5%和1.9%～6.6%，得出该方法能够有效解决DDPM的缺陷，并且优于其他扩散模型。

关键词

扩散模型 / 线性时间复杂度 / 多方向扫描

基金资助

国家自然科学基金（82071995）; 新疆政法学院校长基金（XZZK2021002;XZZK2022008）