自适应动态选择尺度的ViT后训练量化模型研究

摘要

后训练量化方法无需重新训练神经网络，且对数据集的依赖性小，是一种轻量且实用的模型压缩技术.然而，现有的量化范式未能有效地拟合post-Softmax激活的分布特性，并且在重新参数化post-LayerNorm激活后，精度不可避免地出现下降.因此，本文提出了一种自适应动态选择量化尺度的变换器后训练量化框架DAQ-ViT.DAQ-ViT首先提出了一种基于偏度度量的缩放因子分布选择器，解决了post-LayerNorm激活存在显著的通道间变化所导致的精度下降问题.其次，针对post-Softmax和post-GELU激活分布特性，提出了满足分布特性的Sigmoid量化器.此外，提出了感知分布检测器，自适应感知激活值分布情况，从而动态选择Sigmoid量化和log2量化.实验结果表明，在没有输出重建的情况下与PTQ4ViT相比，DAQ-ViT进行4比特量化时，在DeiT-Tiny和DeiT-Small上的精度分别提高了20%和35%.

关键词

模型压缩 / 模型量化 / 后训练量化 / 图像分类 / 视觉变换器

基金资助

上海市自然科学基金项目(20ZR1438500)资助; 软硬件协同设计技术与应用教育部工程研究中心开放课题项目(OP202202)资助; 四川省科技计划重点研发项目(2024YFFK0443)资助