面向大规模推荐的基于哈希的DRAM-SSD嵌入表存储系统

摘要

随着深度学习推荐模型规模的持续扩展，处理分类特征的嵌入表所需内存(DRAM)容量呈指数级增长，单机内存已难以满足其存储需求，传统的多机分布式方案在节点数量过多时会显著增加系统成本.最近的研究尝试使用固态硬盘(SSD)存储部分嵌入表，但由于大多依赖定制硬件而难以广泛应用.本文提出的SSDHashEmbed利用哈希分区技术优化缓存替换策略的并发性能，并基于哈希表实现了一个高效的两级嵌入表存储模块.通过普通商用SSD与少量DRAM的结合，该方法能够有效支持大规模嵌入表的存储，从而大幅降低内存需求.基于真实公共数据集的实验评估表明，SSDHashEmbed可将训练和推理阶段的内存使用量分别降低50%和80%,同时将训练速度提高到基线方案的1.8～3.4倍，推理端到端延迟降至基线方案的70%.

关键词

嵌入表 / 固态硬盘 / 哈希 / 推荐系统 / 性能优化 / 缓存系统