面向不平衡数据的联邦类别增量学习

摘要

联邦增量学习作为一种新兴学习范式，在保护用户隐私的同时利用数据孤岛的知识，有效缓解了由于存储空间有限而导致的灾难性遗忘问题.但现有的联邦增量学习研究忽略了用户数据不平衡对造成全局模型灾难性遗忘及精度降低的影响.针对此问题，该文提出了一种基于条件生成对抗网络的无数据存储重放再训练方法(ARR).具体来说，用户模型训练分为两个阶段：第1阶段结合条件生成对抗网络生成模拟的历史任务数据和当前任务数据共同训练本地模型；第2阶段则冻结特征提取层，采用平衡采样技术对其他层进行再训练.服务器通过利用条件生成对抗网络生成的所有用户任务数据来优化全局模型.实验结果显示，ARR在不平衡程度逐渐加剧的情况下，全局模型准确率相较于现有的相关方法提高了8.64%～31.03%,有效缓解了灾难性遗忘问题，显著提高了全局模型的最终精度.

关键词

联邦增量学习 / 不平衡数据 / 条件生成对抗网络 / 灾难性遗忘 / 二次训练

基金资助

国家自然科学基金项目(62362043,62262036)资助; 云南省“兴滇英才支持计划”项目(KKXY202203008)资助; 云南省科技计划项目(202205AF150003,202204BQ040010,202102AD080002)资助