基于集群拓扑和存储池感知的Ceph数据均衡方法

摘要

分布式存储系统采用低成本的设备提供可扩展、灵活的数据存储服务，大大降低了系统建设成本。然而，在Ceph存储系统中设备容量的异构性和存储池的多样性会导致副本数据分布不平衡，对系统的性能和可靠性带来了新的挑战。针对该问题，提出一种基于集群拓扑和存储池感知的数据均衡方法，在优化存储系统的均衡度和性能的同时，避免存储容量较小的设备承担过多的工作负载，也降低大存储容量设备的资源浪费。首先设计动态全局权重平衡器（DGW Balancer），综合考虑集群拓扑结构、集群存储使用率、设备存储利用率和存储池等多个因素，通过贪心算法获得相应数据分布节点选择策略，动态全局地调整集群中各种设备以及存储池中存储设备的权重，使数据更加合理、均衡地分布到各种设备上，达到提升云存储服务的可靠存储利用率和性能的目的。实验结果表明，与Ceph现有的mgr balancer相比，DGW Balancer在数据均衡方面能够取得更好的效果，均衡度提高了350%，集群可靠存储利用率提高了13.5%；在性能方面，吞吐量提高了10%,IOPS提高了17%。.

关键词

分布式存储 / 异构集群 / 负载均衡 / 数据分布 / 动态权重

基金资助

国家自然科学基金(61831013); 广西创新驱动发展专项基金(科技重大专项桂科AA18118031); 广西研究生教育创新计划(YCSW2021179)