基于并行块的自适应量化随机计算

摘要

深度神经网络模型的庞大存储和高计算量的需求限制了其在面积和功耗受限的嵌入式设备上的部署.为了解决这一问题,随机计算将数据表示为一个随机序列,继而通过基本逻辑运算单元实现加法和乘法等算术运算,以减小神经网络的存储空间和降低计算复杂度.然而,当随机序列的长度较短时,网络权重在从浮点数转换到随机序列的过程中存在离散化误差,这会降低随机计算网络模型的推理准确率.尽管使用更长的随机序列可以扩大随机序列的表示范围以缓解这一问题,但也会导致更长的计算时延和更大的能源功耗.本文提出了一种基于傅立叶变换的可微量化函数的设计,可以在网络的训练过程中,通过提高模型对随机序列的匹配度,来减小数据转换过程中的离散化误差,从而保证较短随机序列的随机计算神经网络的准确率.此外,还设计了一种加法器,用于提高运算单元的准确性,并通过将输入分块来并行计算以进一步缩短时延.最后,通过实验表明,本文相较于其他方法可以提高20%的模型推理准确率,并能够达到缩短50%的计算时延.

关键词

随机计算 / 量化 / 神经网络优化