基于区块链的非结构化大数据云存储优化研究

摘要

非结构化大数据云存储过程中冗余数据未被有效剔除，导致存储效率低、数据失真率较高。为此，提出一种基于区块链的非结构化大数据云存储优化方法，以提升存储完整性、降低数据冗余与失真率为目标。该方法首先构建基于区块链的冗余数据剔除结构，通过最优分类平面对冗余数据进行分类与剔除；进而引入信息熵评估数据不确定性，结合主成分分析实现数据降维，滤除无效信息；在此基础上，构建区块链存储优化模型，依据行、列读写特性优化数据访问速度与存储完整性；最后设计含第三方仲裁机制的完整性验证方案，用于分析完整性证明篡改与拒绝应答两类存储安全问题。实验结果表明，在完整性证明篡改问题下该方法丢失22个标记块，在拒绝应答问题下丢失30个标记块，与实际数据块丢失情况完全一致；在1 MB至5 GB数据量范围内，数据失真率最高仅为12%,明显低于基于SDN技术、粒子群优化算法和局部对称算法的对比方法。所提方法能够有效剔除冗余数据、降低数据维度，提升非结构化大数据云存储的完整性与访问效率，具备良好的实用性与稳定性。

关键词

区块链 / 非结构化数据 / 云存储 / 冗余数据剔除 / 数据降维 / 存储优化 / 完整性验证 / 数据失真率

基金资助

国网总部科技项目(SGGSXT00XMXX2100312)