面向概念漂移的磁盘故障动态集成预测方法

摘要

在大规模数据中心中，磁盘日志通常随着时间的推移不断从磁盘生成，磁盘日志数据的分布会随着时间的推移发生不可预测的变化，产生概念漂移.然而当前磁盘故障预测方法大多是离线训练的，预测性能会随着时间的流逝而逐渐降低，无法对数据分布的变化做出反映.针对这一问题，提出了一种面向概念漂移的磁盘故障动态集成预测方法AIDF.该方法从数据分析到磁盘故障预测整个环节都是动态进行的，是一个完整的自动化磁盘故障预测方法.首先，提出了AIDF总体架构.其次，对磁盘故障动态集成预测模型进行构建.包括以下3个方面：对磁盘数据流进行实时数据分析；根据磁盘数据流中存在的概念漂移类型，改进了基学习器的概念漂移检测过程，并基于磁盘故障预测性能为基学习器分配动态权重，建立集成学习模型；为了解决磁盘数据流中特征选择更新问题，提出一种基于概念漂移的动态特征更新与模型再训练算法，当磁盘数据流出现概念漂移并且所选择的最优特征集发生变化时，使用近期窗口中的数据再训练基学习器.实验结果表明，AIDF能够很好地应对磁盘故障预测模型老化的问题，长期保持95%以上的故障检测率，并且适用于实际动态应用环境.

关键词

磁盘故障 / 概念漂移 / 集成学习 / 动态预测 / 增量学习

基金资助

国家自然基金重点项目(U2033205,U2233214)资助