深度学习结合改进DBSCAN聚类的数据异常检测

摘要

由于结构健康监测系统采集到的数据不可避免存在异常，导致无法从中获取结构真实健康情况，故异常数据检测对结构分析及其状态评估至关重要．为此，提出一种基于组合预测模型的多通道数据异常检测方法．首先，将结构健康监测数据分为两段，前段只有环境引起的间歇性异常，后段包括间歇性异常以及传感器故障造成的数据异常．其次，通过根据余弦核密度估计各数据点的局部密度自适应地选取参数半径，并对基于密度的空间聚类算法（DBSCAN）改进，进而用该改进模型剔除前段数据中的间歇性异常得到清洗数据（即没有问题的正常数据）．接着，基于多传感器间的相关性，结合卷积神经网络（CNN）的空间特征和长短期记忆网络（LSTM）的时间特征，训练清洗数据得到代表正常数据特征的数学模型．然后，在数学模型中输入后段数据得到预测数据，并将预测数据与后段数据对比得到预测误差，采用极值理论（EVT）拟合预测误差分布并设置阈值，进而检测数据的异常状况．最后，分析Dowling Hall人行天桥加速度监测数据表明，该方法能够有效提高结构健康监测异常数据的检测能力．

关键词

深度学习 / DBSCAN算法 / 数据异常检测 / 组合模型 / 结构健康监测

基金资助

国家自然科学基金资助项目(52208189); 江苏省高等学校基础科学(自然科学)资助项目(21KJB580006)