面向多功能张量加速器的细粒度结构化稀疏设计

摘要

为解决模型压缩算法与多功能张量加速器(VTA)的适配性问题，通过改进经典的YOLObile分块剪枝方法，完成面向该加速器的自适应细粒度结构化稀疏设计及性能评估。针对VTA的多重循环维度展开特性，对模型的权重张量进行32×32大小的分块；结合时间维度的自蒸馏与空间维度的教师蒸馏，进行多维度特征对齐；通过一阶段式迭代训练方式，改进原有的ADMM算法计算流程，在提升模型部署精度的同时减少训练成本；提出自适应层剪枝率模块，进行总剪枝率的自适应分配，实现端到端的自动化剪枝。实验结果表明：改进方法有效减少了约2.4%的浮点计算量，并在图像分类、目标检测等多项任务中提升了压缩模型的精度，最大增长百分比为2.6%。该方法为深度学习模型在VTA上的稀疏化部署提供了一种高效、轻量级的软件解决方案。

关键词

神经网络轻量化 / 模型稀疏化 / 深度学习 / 多功能张量加速器 / 模型部署

基金资助

新疆维吾尔自治区重点研发计划资助项目(2022B01008-1); 国家自然科学基金资助项目(62076193)