深度学习步长自适应动量优化方法研究综述

摘要

当前，以深度神经网络和预训练模型为基础的生成式人工智能受到学术界和工业界的普遍关注.深度学习的研究达到前所未有的高度.自2015年提出以来，无论是图像、语音还是文本等领域，以Adam为代表的自适应动量优化方法，因其快速的收敛速度、适应各种梯度和参数变化的能力，已经成为深度学习训练的首选方法，但是仍然存在：1）算法的全局收敛性较差；2）参数选择策略与理论分析不一致；3）针对不同任务的泛化性能有待进一步提升.为分析并解决以上挑战，研究者们分别使用自适应步长和动量两种优化技巧对自适应动量方法进行了大量研究.本文是这一类方法的研究综述，首先回顾了深度学习优化的发展背景与面临的挑战，重点介绍了一阶梯度条件下的自适应步长方法、动量算法、步长自适应动量算法、大模型中的应用等，尤其是针对凸情形下收敛性研究进展进行了系统梳理，最后展望了步长自适应动量算法未来发展方向.

关键词

深度学习 / 优化算法 / 动量 / 自适应步长 / 收敛性

基金资助

国家自然科学基金项目（62106281）资助