流数据下多变点广义线性分段回归模型的在线更新方法

摘要

当大数据以数据流的形式连续到达时，在线更新便成为减轻存储和计算负担的有效方法之一。在线更新的主要思想是仅使用当前数据和一些历史数据的汇总统计量来顺序地更新之前的估计值。本文提出了一种具有多个变点的广义线性分段回归模型的在线更新估计和统计推断方法，方法放松了线性条件，并在阈值协变量域的不同区域假设不同的回归形式。本文还提出了监测方法，用于挑选异常数据批次，并进行统计推断和变点监控。本文证明了在线更新估计量的一致性和渐近正态性。仿真结果表明，所提方法在估计和计算上都是高效的。

关键词

广义线性分段回归模型 / 变点估计 / 在线学习 / 异常数据批量检测 / Spark’s Lambda架构