基于非单调线搜索的随机梯度下降算法

摘要

提出了一种用于解决大规模问题的基于非单调线搜索技术的随机优化算法，并给出了该算法在强凸条件下的收敛性分析.对两种学习模型分别在不同规模的数据集下进行了实验，数值结果表明该算法能很好地降低损失函数值，且比固定步长下的随机梯度下降算法以及几种自适应算法的收敛速度快.

关键词

随机梯度下降 / 非单调线搜索方法 / 凸优化