基于自适应替代梯度和阈值脉冲池化的脉冲神经网络

摘要

脉冲神经网络(SNN)与传统人工神经网络(ANN)相比具有更好的生物可解释性和更低的能耗，并被认为是扩展神经网络应用领域的一种极有前景的解决方案.但由于不能直接使用梯度下降算法来训练SNN,因此SNN在模型性能上仍与ANN存有一定的差距，这限制了SNN的实际应用.为此提出一种新型自适应替代梯度方法(ASG)以更好地将梯度下降算法应用在SNN的训练上；还提出一种阈值脉冲池化结构(TSPooling)以提升模型表达能力，从而使训练后的SNN模型在保持低能耗特性的同时拥有更好的推理性能.使用所提出的方法训练改进ResNet-18网络模型，在CIFAR-100数据集和CIFAR10-DVS数据集上进行实验，识别结果较基准网络模型有明显提升，改进的模型在CIFAR-100数据集上的准确率达到了76.41%,优于其他6个主流模型，验证了其有效性.

关键词

脉冲神经网络 / 神经形态计算 / 替代梯度 / 脉冲编码

基金资助

国家自然科学基金项目(62171145)资助