面向大规模数据的分布式存储优化方法

摘要

针对大规模数据环境下分布式存储系统负载不均、冗余开销大及检索效率低等问题，本文提出了融合极端梯度提升(XGBoost)负载预测与熵值分配的动态权重分片算法，设计基于有限域矩阵的自适应纠删码编码机制，构建融合单指令多数据流(SIMD)压缩倒排链与可导航小世界(NSW)图的混合索引结构，建立数据分布感知的协同优化策略。实验结果表明，所提优化方法在存储均衡性、编码效率及检索性能方面均显著优于传统方案。

关键词

分布式存储 / 大规模数据 / 动态分片 / 纠删码优化 / 混合索引 / 协同优化