基于模块化网络的自适应加权联邦持续学习方法

摘要

针对资源受限环境下联邦持续学习(federated continual learning, FCL)中的横向与纵向灾难性遗忘问题，提出一种基于模块化网络的自适应加权联邦持续学习(modular-based adaptive weighted federated continual learning, MAWFCL)方法，有效应对任务演化引发的模型知识保持与任务适应性挑战。通过构建可组合的基础参数模块与自适应控制参数，实现个性化模型构建与任务适配；引入模块相似度度量机制，提升知识复用效率；结合参数容量感知的精准遗忘策略，有效控制模型复杂度；设计基于参数距离的自适应聚合算法，缓解聚合过程中的知识冲突。试验结果表明，MAWFCL方法在准确率、灾难性遗忘抑制和通信效率方面优于现有方法，在CIFAR100数据集上的表现明显优于联邦生成重放学习(federated generative replay learning, FedGReL)方法和基于提示词的双重知识迁移(prompt-based dual knowledge transfer, Powder)方法，测试准确率分别提升10.93百分点和10.17百分点，在复杂任务中展现出显著优势。

关键词

联邦持续学习 / 参数隔离 / 神经网络 / 迁移学习 / 自适应算法

基金资助

国家自然科学基金资助项目(61902226); 山西省自然科学研究资助项目(202403021221217,202203021221218)