基于三维分块矩阵的卷积优化算法

摘要

卷积是卷积神经网络的关键组成部分，其性能对网络的运行效率具有重要影响。目前对卷积的优化方法集中在计算速度和内存使用两方面。MEC算法是一种内存高效的卷积加速方法，将输入图像紧凑地排列为二维矩阵，降低中间矩阵的内存开销。然而，在处理大尺寸输入时，生成多个瘦高的二维分块矩阵，无法充分发挥矩阵乘法的峰值性能，导致计算效率下降。文章提出了一种基于三维分块矩阵的卷积优化算法CMEC:(1)采用三维窗口在原始图像上滑动获取数据，将输入和卷积核重新组织为三维中间矩阵；(2)并行计算输入分块矩阵与卷积核的三维矩阵乘法，利用高度优化的矩阵加速库提升计算速度；(3)将计算结果转换为标准的卷积输出形式。实验结果表明，与MEC算法相比，CMEC算法具有相同的中间矩阵内存使用，但是在CPU上计算单个卷积层的平均性能提升了61%,在GPU上性能最高提升71%,在多层卷积神经网络中至少获得56%的性能提升。

关键词

卷积优化 / 三维分块矩阵 / 数据重排