一种基于知识蒸馏的异构联邦遗忘学习算法

摘要

为解决异构数据环境下联邦学习中的隐私保护问题，提出了一种融合知识蒸馏（knowledge distillation,KD）与遗忘机制的异构联邦遗忘学习算法.该算法通过提取全局模型中的通用知识并将其传递至客户端，在保持模型学习能力的同时，有效剥离本地模型中与敏感数据相关的信息，从而实现隐私遗忘.试验结果表明，该方法在各类数据结构和设备配置下均能保持良好的模型性能，同时显著提升了数据的隐私性，为异构联邦学习环境中的隐私保护提供了一种有效的技术方案.

关键词

遗忘学习 / 联邦学习 / 知识蒸馏

基金资助

国家自然科学基金青年科学基金资助项目（62402040,62302539）; 中国博士后科学基金资助项目（2024T171132,2023M740246,GZB20230938）; 齐鲁工业大学（山东省科学院）算力互联网与信息安全教育部重点实验室基金资助项目（2024ZD014）