Spark大数据智能分析平台设计研究

摘要

针对大数据分析活动易受到数据维度的影响，进而出现运行时间长、数据分析误差高等问题，提出Spark(计算引擎)大数据智能分析平台。通过局部约束的方式消减大数据维度，然后借助Spark技术实现网络层的架构设计，使用数据分析编排器构建系统服务器，设计实验用于验证所提平台的实际效果。实验结果表明：该平台的运行效率在98%～99%,数据分析的误差均值能够控制在0.5%～0.8%,且加速度参数不小于9,证明所提平台具有实用性与科学性，可为相关人员或单位提供参考。

关键词

Spark(计算引擎) / 大数据 / 智能分析平台