基于多视图并行的可配置卷积神经网络加速器设计

摘要

针对商用中央处理单元（central processing unit,CPU）的专用许可证授权费用高和卷积神经网络性能待提升等问题，设计了一种基于多视图并行且具有可配置性的卷积神经网络加速器，同时结合第五代精简指令集（reduced instruction set computing, RISC-V）构建该加速器的片上系统。首先，扩展一组适用高速协加速器的控制访问接口和数据访问接口。其次，以多视图并行与结构复用的方式实现卷积神经网络各运算单元：视图并行的不同组合将影响卷积单元硬件电路结构，因此多视图并行可通过复用基本运算结构来完成；池化单元由行池化和列池化子单元构成，且共享行池化的运算结构；对于全连接单元，采用调整全连接运算参数的方法来适应卷积单元的硬件结构，从而完成模型间的复用。然后，针对不同运算单元的硬件结构设计不同寄存器组，并结合开源RISC-V处理器实现多种网络模型。最后，在不同平台分别部署卷积、池化和全连接模型，计算运算时间、吞吐量和速度等。实验结果表明，对于相同卷积结构，本文设计的加速器和CPU平台的速度比是189。在本文设计的加速器中部署视觉几何组（visual geometry group,VGG）的卷积运算，其吞吐量可达178.6 GOPS。综上所述，利用多视图并行能够达到加速效果，且以配置寄存器方式可实现不同网络模型。

关键词

卷积神经网络 / 多视图并行 / 可配置 / 片上系统 / 复用 / 第五代精简指令集