大数据存储技术的研究综述

摘要

大数据存储是大数据处理和分析的基础，调研分析国内外主流的数据存储技术，比较不同存储方式的特点和应用场景，并针对不同需求提出参考建议，有利于从不同角度把握数据存储技术的发展。对分布式文件系统的文件分割功能、适用场景及优缺点的总结，并重点分析总结NoSql数据库的4种数据存储模型的原理及适用场景，以及数据库一体机的发展及特征进行详细的调研与归纳，同时概述大规模并行处理系统(massively parallel processing, MPP)架构新型数据存储技术和多模型数据库在大数据存储技术中的应用。最后对未来存储技术的可能研究趋势进行展望。研究结果表明，选择合适的存储技术需要综合考虑数据规模、性能需求、成本等因素。

关键词

大数据存储 / NoSql / 分布式文件系统 / 数据库一体机

基金资助

国家自然科学基金项目(61462070); 陕西省自然科学基础研究计划项目(2023-JC-QN-0311); 陕西工业职业技术学院科研基金资助项目(2024YKYB-026); 咸阳市2024年度重点研发计划项目(L2024-ZDYF-ZDYF-NY-0027)