差分隐私保护的拜占庭鲁棒联邦学习模型

摘要

拜占庭鲁棒联邦学习的目标是让服务提供者在存在有限数量恶意客户端的情况下，准确学习全局模型，他们通过对客户端提交的本地模型更新进行统计检验，排除那些异常的更新.但是，目前方法只要针对恶意用户所带来的安全性问题，而没有考虑可能存在的隐私问题，即窃取模型参数而进行的攻击类型.有的考虑了数据异构性，但是没有考虑由于系统异构性带来的效用下降问题.针对目前现有的隐私保护的联邦学习算法存在的问题，本文设计并实现了拜占庭鲁棒联邦学习算法(Byzantine Robust-Differentially Private Federated Learning, BR-DPFL),该算法创新性地引入了一种双层过滤机制：第1层过滤通过定义面向两种异构性(系统和数据)的效用函数，减少可能受到拜占庭攻击或其它干扰的数据影响；第2层过滤采用指数机制评估客户端的性能，并优先选择效用函数表现优异的客户端参与训练.此外，针对参数共享过程中的隐私问题，本文算法通过添加高斯噪声满足差分隐私保护，并且基于效用函数设计自适应的隐私预算分配方法，对于效用表现高于一定阈值的优质用户将隐私预算放大来减少噪声摄入，在保证隐私的同时提升算法的效用.综合实验结果表明，该算法在MNIST与CIFAR-10数据集上的准确率分别达到了96.6%和64.5%,在精度上优于现有的联邦学习算法.

关键词

联邦学习 / 差分隐私保护 / 拜占庭鲁棒性 / 隐私预算分配 / 双重过滤机制