基于经验回放的日志异常检测模型的更新

摘要

基于日志的异常检测是异常检测问题的重要分支，得到越来越多的关注.然而，现有研究往往忽略了在长时间检测的场景下，数据分布及模式变化对日志异常检测产生的影响.为了实现持续性有效检测的目标，本文提出了基于增量学习的日志异常检测模型的更新方法，使用黑暗经验回放策略在原有的先进方法MLog的基础上进行改进.在利用原有数据充分训练模型的基础上，更新算法使用聚类得到的范例样本和收集的新样本增量更新模型，其中对范例样本应用蒸馏损失，保留更多知识从而减少遗忘.进一步，为了保留更多已学习到的特征信息，本文方法提取MLog的特征融合层的中间层特征，使用范例样本的类别原始分数和中间特征共同约束模型的更新，实现完整经验重放.在真实数据集上的实验结果表明，在持续检测需求场景下，本文方法能够有效提高检测模型训练的时间效率，并且获得了与全量训练相近的检测效果.

关键词

异常检测 / 日志分析 / 增量学习 / 深度学习

基金资助

江苏省市场监管局科技计划项目(KJ2025043)