KCPStack:张量分解的卷积核分层矩阵压缩方法

摘要

针对现有张量分解卷积核压缩方法难以兼顾时空轻量化、过于依赖卷积瓶颈结构等问题，提出一种具有可观压缩与加速能力的卷积核分层矩阵压缩方法(KCPStack)。首先，在矩阵乘法视角下，将卷积核按通道拆分为2阶克罗内克规范多项式(KCP)分解，所得因子张量组合为两层权重矩阵，使卷积计算转换为具有较高推理效率的双层轻量卷积结构；其次，对比所提KCPStack方法与其他典型张量分解卷积核压缩方法的参数约减空间复杂度与推理计算时间复杂度；最后，基于RK3588神经处理单元进行KCPStack方法的部署，面向实际场景目标检测识别需求开发相关应用。实验结果表明：与现有张量分解方法相比，在张量秩相同或者参数量相当的前提下，所提KCPStack方法具有最快的推理计算效率；在图像分类标准数据集CIFAR-10和ImageNet上，KCPStack方法能够将精度损失控制在1%左右，最高可减少85.0%的参数量和79.8%的计算量；在目标检测识别标准数据集COCO上，KCPStack方法相对于基线模型的平均精度下降不超过1%;采用所提KCPStack方法对实际场景进行目标检测识别，在RK3588神经处理单元上能达到95.4%的平均精度和35帧/s的图像处理帧率，内存开销仅为33.1 MB。

关键词

克罗内克规范多项式张量分解 / 卷积核压缩 / 推理效率 / 分层矩阵 / 目标检测识别

基金资助

国家自然科学基金资助项目(12002254)