稀疏正则的可解释图像分类神经网络模型及算法研究

摘要

深度神经网络在图像分类任务中展现出卓越性能。然而其庞大的参数量往往使得模型复杂度显著升高，在一定程度上会引发高计算成本与过拟合风险。另外，广泛使用的ReLU型激活函数会使神经网络优化问题呈现非光滑性，而由于链式法则在不可微点的次微分不可用，导致在反向传播过程中传统的梯度下降算法在求解时缺乏理论保证。针对以上问题，在基于Leaky ReLU激活函数的神经网络参数估计模型基础上，引入稀疏正则化技术，使得模型复杂度大幅降低。具体来说，对权重矩阵施加按层的l_2,1组稀疏正则项，消除层间冗余的同时引入辅助变量并对其施加l₁稀疏约束，消除冗余节点。采用非精确增广拉格朗日法对优化问题进行求解，避免使用链式法则，使求解过程具有理论保证。实验结果表明，提出的模型在MNIST数据集上达到了51.3%的权重稀疏度以及60.7%的节点稀疏度，并且保持了基线模型的分类精度。

关键词

稀疏正则 / 增广拉格朗日法 / 图像分类