AR-SNN:脉冲神经网络鲁棒性研究

摘要

针对脉冲神经网络(spiking neural network, SNN)受多种因素影响导致模型鲁棒性下降的问题，提出一种自适应鲁棒脉冲神经网络(adaptive robust spiking neural network, AR-SNN)模型，其包括脉冲-门控线性单元(spiking-gated linear unit, S-GLU)、自适应-前K损失(adaptive-topK loss, A-TopK Loss)、脉冲-多层感知机(spiking-multilayer perceptron, S-MLP)3个模块。首先，引入门控机制作为预处理层，通过对门控线性单元(gated linear unit, GLU)进行改进，减少线性层数量，构建S-GLU模块；其次，提出A-TopK Loss,根据累积损失的比例计算总损失中前90%损失所对应的样本的平均损失作为最终损失；再次，采用自监督学习策略，以多层感知机(multilayer perceptron, MLP)为解码层，构建S-MLP去噪网络，重建原始数据；最后，在SHD语音数据集上进行实验。结果表明：S-GLU模块增加了模型对关键信息的关注，并减少了错误分类的发生；A-TopK Loss使模型自动聚焦于损失较大的样本，提升了其在复杂数据上的学习能力；S-MLP增强了网络的特征提取能力，在噪声测试中显示出对输入扰动具有一定鲁棒性。AR-SNN模型的性能优于原始模型及其他SNN模型，能够有效提升SNN的鲁棒性。

关键词

计算机神经网络 / 脉冲神经网络 / 鲁棒性 / 门控机制 / 损失函数 / 多层感知机