面向数据并行深度学习的准确率感知稀疏梯度融合算法

摘要

针对数据并行的深度学习作业中梯度同步导致的性能瓶颈问题,提出一种动态的稀疏梯度融合算法.该算法将梯度压缩、流水线技术与张量融合技术进行协同建模,建立稀疏梯度融合行为对准确率影响的理论模型,并基于此寻找加快梯度同步的同时提高验证准确率的梯度融合方案,以解决稀疏梯度融合导致验证准确率不稳定的问题.实验结果表明,该稀疏梯度融合算法比分层稀疏化方法缩短了1.63倍的通信时间,比已有的稀疏梯度融合算法缩短了2.68倍的收敛时间.

关键词

并行深度学习 / 梯度稀疏化 / 张量融合 / 通信流水线技术

基金资助

吉林省自然科学基金面上项目(批准号:20230101062JC)