存算分离架构下Part元数据的单独管理策略

摘要

针对ClickHouse存在的硬件资源无法被充分利用、缺少弹性和节点启动过慢的问题,在存算分离架构下,提出了一套针对描述数据信息的元数据(Part元数据)的管理策略. Part元数据是元数据中最重要的组成成分.为了能够有效管理远程共享存储上的数据,采集了所有Part元数据文件,并将其合并后,经过键值映射、序列化和反序列化,存入分布式键值数据库中.此外,还设计了一套同步策略,以确保远程共享存储上的数据与分布式键值数据库中的元数据的一致性.利用Part元数据管理策略及相关的同步策略,实现了一个针对Part元数据的管理系统,解决了ClickHouse节点启动过慢的问题,并支持高效的节点动态扩缩容.

关键词

数据库系统 / 存算分离架构 / 元数据管理