基于校园计算机构建Hadoop集群的存储性能优化研究

摘要

针对校园计算机资源利用率低与大数据存储需求矛盾的问题，本研究提出了基于异构校园计算机构建Hadoop集群的存储性能优化方案。通过分析存储性能评估指标，设计了数据压缩与分片优化技术、Hadoop分布式文件系统(HDFS)参数调优策略以及数据本地性优化方法，在校园计算机集群环境中进行实验。结果表明，优化后的系统数据读取性能提升了41.8%，写入性能提升了50.9%，存储空间利用率提高了38.5%，有效突破了校园异构硬件环境下的存储性能瓶颈，为校园大数据平台建设提供了经济高效的解决方案。

关键词

Hadoop集群 / 存储性能优化 / 校园计算机 / 数据压缩