基于PDMM的联邦Elastic Net模型参数安全聚合方案研究

摘要

目前，联邦学习模型均使用数据隐私保护技术(如密码学和差分隐私)来保证模型的参数安全聚合，该技术会带来模型精度低和通信效率低等问题.为了克服该弊端，本文针对联邦Elastic Net模型提出了一种基于原对偶方法(primal-dual method of multipliers, PDMM)的联邦Elastic Net参数安全聚合方案——PDMM-Fed. PDMM-Fed主要分为三步：(1)每个客户端上需要生成一个虚拟客户端，客户端上有训练数据集，虚拟客户端上无训练数据集；(2)将Elastic Net的目标函数均方误差项和正则化项分别置于客户端和虚拟客户端上，作为待优化的凸函数；(3)将PDMM中的子空间扰动方法引入到中心化的联邦学习网络拓扑中，以确保参与方本地的模型参数不会被逆向推理.实验结果表明，在保证客户端上模型参数安全的情形下，PDMM-Fed依然有着较高的通信效率和模型精度.

关键词

联邦学习模型 / Elastic Net / primal-dual method of multipliers / 参数安全聚合