科研大数据平台关键技术与实践

摘要

首先,以高能物理领域数据处理为例,分析了支撑科学研究的大数据平台在存储和处理能力、传输和共享等方面的挑战,说明现有技术已经难以满足日益快速增长的数据处理需求。然后,给出了科研大数据平台的典型架构,并讨论科研大数据平台的关键技术,包括数据采集与清洗、数据存储、数据处理、数据传输、数据共享与安全等技术,同时介绍了各种关键技术的研究现状或者主流系统。最后,介绍了中国科学院高能物理研究所科研大数据开放平台的建设思路和实现框架,该平台试图解决目前大数据发展过程中面临的一些问题,如数据开放和跨领域融合不够、跨地域数据传输性能低等,从而激活数据价值,降低应用门槛。

关键词

大数据 / 数据存储 / 并行数据处理 / 开放平台