基于自适应动量的SGDM在机器学习中的应用

摘要

随机梯度下降动量法(Stochastic Gradient Descent with Momentum, SGDM)是一种广泛应用于求解机器学习问题的优化方法。该算法通过累积历史梯度来加速训练，但由于噪声的累积可能引发超调现象。基于非线性共轭梯度参数提出了一种自适应动量的SGDM算法—PRPSGDM，该算法通过自适应调整动量系数，合理控制高噪声梯度在加速下降过程中的影响。此外，还对该算法进行了偏差分析和非凸随机优化问题下的收敛性分析。数值实验验证了算法在求解非凸支持向量机问题下的有效性。

关键词

机器学习 / SGDM算法 / 自适应动量 / 共轭梯度算法 / 收敛性

基金资助

国家自然科学基金(12571344)