动态稀疏神经网络在计算机视觉中的应用

摘要

面向现代复杂任务场景，深度神经网络庞大的参数总量和计算开销给模型部署带来严峻挑战。模型剪枝作为神经网络轻量化的关键技术，现有的N:M算法仅解决了如何以统一的方式训练N:M稀疏神经网络的挑战，但在高稀疏性条件下，其精度明显下降。为突破传统N:M算法的性能局限，提出了一种新的动态分层稀疏神经网络技术。该技术基于预先训练的稠密深度神经网络，通过网络层次化处理，每一层根据数据特征优化调整可训练的阈值向量，并确定网络的最佳稀疏度，从而寻找动态混合N:M稀疏性方案，最终实现细粒度精准剪枝，保证最大化压缩模型冗余参数的同时，有效保留关键层级的特征提取能力。为验证方法的有效性，在大规模ImageNet图像分类数据集上开展对比实验，选取ResNet18与ResNet50两种经典计算机视觉模型作为基准，以top-1分类精度为核心评价指标，与传统剪枝方法进行性能对比。实验结果表明，在相同高稀疏性条件下，本文所提细粒度动态分层稀疏方案对应的基准模型top-1精度均显著优于传统方法，充分验证了该方法的优越性与有效性，在计算机视觉领域具有广阔的优势和应用前景。

关键词

深度神经网络 / 细粒度结构化稀疏 / 计算机视觉 / 模型压缩 / 卷积 / 剪枝

基金资助

鄂教科函[2019]2号/2018519