用于深度学习的一种改进L-BFGS算法

doi:10.19789/j.1004-9398.2021.05.002

首都师范大学学报（自然科学版） ›› 2021, Vol. 42 ›› Issue (05) : 8 -14. DOI: 10.19789/j.1004-9398.2021.05.002

用于深度学习的一种改进L-BFGS算法

作者信息 +

Author information +

文章历史 +

PDF

摘要

本文提出了一种改进的L-BFGS算法,该算法利用相邻迭代点梯度之差,以及由此定义的矩阵与向量之间的乘积的线性组合来更新向量对,进而构造新的Hessian矩阵近似.改进算法将迭代方向进行单位化,以保证所提算法的稳定性.在MNIST和CIFAR10数据集上进行了实验,结果表明改进的算法具有更好的稳定性,与带动量的随机梯度下降法、AdaGrad以及L-BFGS等算法相比,具有更好的实验表现.