面向高性能纠删码的内存数据布局优化研究

摘要

大数据时代，数据作为核心生产要素，其规模与日俱增且需要大容量、低成本、高性能、高可靠的存储系统储存.为满足该需求，纠删码，尤其是宽条带纠删码，具有高存储效率和可靠性越来越多的被应用于各种存储系统之中.然而，本研究发现在采用主流纠删码编解码库时，宽条带纠删码编解码性能相比窄条带纠删码的性能严重下降，并通过实验发现现有数据布局导致大量的缓存缺失.为此，本文提出了编码条带优先的数据布局(Stripe-Wise Optimization Placement)方法来实现高性能纠删码.本工作据此方法设计了编码条带优先的内存布局的编码算法，并且进行了综合的性能测试.实验结果表明，与传统排列方法相比在宽条带下SWOP方法能够提升78%～109%的吞吐率，对于窄条带能够提升28%～72%编码吞吐率.

关键词

纠删码 / 数据布局 / 宽条带纠删码 / 编码吞吐率 / 数据存储