基于查询频率的混合事务分析处理数据同步优化

摘要

混合事务分析处理(Hybrid Transaction Analytical Processing, HTAP)系统需要同时支持事务处理和查询分析两种工作负载.为了消除这两种负载之间的干扰, HTAP系统会为这两种负载指定不同的数据副本,分别处理OLTP (Online Transaction Processing)和OLAP (Online Analytical Processing)请求,并基于日志回放进行副本之间的数据同步. HTAP系统致力于同步OLTP数据到OLAP端以提供更新鲜的数据查询服务,日志的发送与回放速度是影响数据新鲜度的关键因素.本文在基于表分组的日志并行回放方法的基础上,针对HTAP负载特点,提出基于OLAP端查询频率的日志发送与回放方法.在保障数据一致性的前提下,本文所提出的方法提升了高频查询表日志的处理优先级,最终实现高效的日志发送、日志回放以及针对性的高频查询表数据优先展示,保证了HTAP系统数据的新鲜度.

关键词

混合事务分析处理 / 数据新鲜度 / 日志回放 / 冲突检测