基于联邦学习与知识蒸馏的轻量化负荷分解方法

摘要

针对深度学习模型在非侵入式负荷分解中面临的数据隐私保护和边缘部署两个问题，提出了一种基于联邦学习与知识蒸馏的轻量化负荷分解框架与方法．首先，设计了一种结合卷积神经网络(CNN)和Transformer(CNNTransformer)的混合架构，通过CNN模块高效提取负荷序列的局部时序特征，利用改进的Transformer结构增强对长期时序依赖关系的建模能力，提高了模型的整体辨识性能；其次，提出基于知识蒸馏的模型轻量化策略，通过设计知识迁移机制，将大参量教师模型的决策能力有效压缩至轻量级学生模型，实现模型的高效轻量化；最后，构建了基于联邦学习-知识蒸馏的云边协同训练架构，采用联邦平均算法实现模型参数的高效聚合，使边缘节点在不共享原始数据的情况下参与模型训练，同时引入轻量化模型作为全局模型显著降低了通信开销．实验结果表明：所提模型在REDD和UK-DALE数据集上的辨识性能优于现有方法；轻量化策略在将模型参数降低90%的同时保持了较好的精度；所提框架较传统联邦学习降低了约85%的通信量，为非侵入式负荷分解在边缘计算场景中的部署提供了有效方案.

关键词

非侵入式负荷分解 / 联邦学习 / 知识蒸馏 / 轻量化 / 隐私保护