面向非独立同分布数据的联邦知识蒸馏算法

摘要

通过在本地训练阶段引入知识蒸馏技术，可以有效保护全局模型的潜在知识，从而缓解联邦学习中的知识遗忘问题.然而，全局模型识别不同类别数据的能力差异很大，在训练样本上直接使用经典的交叉熵蒸馏损失可能会对本地模型造成误导.为了解决这个问题，本文提出了一种面向非独立同分布数据场景的联邦蒸馏算法.该算法在原始训练样本上使用基于知识解耦和全局模型预测置信度加权的蒸馏损失函数，以避免全局模型的错误预测产生的负面影响；以及通过激进的数据增强方法破坏原始样本的关键特征，在生成样本上使用交叉熵蒸馏损失进行训练，进一步提升蒸馏效果.实验结果表明，本文提出的方法能够有效地缓解非独立同分布数据场景中的知识遗忘现象，在收敛速度和测试精度上优于其它现有算法.

关键词

联邦学习 / 知识蒸馏 / 知识遗忘 / 数据异质性 / 数据增强