基于历史软标签的联邦知识蒸馏入侵检测方法

摘要

随着工业物联网安全需求日益增长，如何在保护数据隐私的同时高效检测入侵攻击成为关键问题.联邦学习作为一种分布式机器学习方案，能够有效地进行数据隐私保护.然而，由于工业物联网设备所面临的数据异构性问题，传统的联邦学习方法FedAvg在训练过程中全局模型无法充分适应所有客户端的异构数据分布，从而影响全局模型的性能.为了解决这一问题，提出一种基于历史软标签的联邦知识蒸馏方法(FedKD-HSL).该方法在每轮训练中，各个客户端上传本地模型输出的软标签至中央服务器的缓存空间，从而生成具有全局数据分布特征的教师模型历史软标签；在此基础上，在新的训练周期内将教师模型历史软标签下发至各客户端，用于指导本地学生模型进行知识蒸馏，以有效促进全局知识向本地模型传递，缓解数据异构带来的模型性能下降问题.在公开数据集CIC-IDS2017上的实验结果表明，FedKD-HSL方法在三种不同数据异构程度的二分类及多分类任务中性能均显著优于传统的FedAvg算法.

关键词

工业物联网 / 入侵检测 / 联邦学习 / 知识蒸馏 / 数据异构