基于秘密共享的本地多节点联邦学习算法

摘要

深度学习技术在各个领域中的应用越来越广泛，而深度学习模型的准确性需要依靠大量的训练数据。由于数据安全和法规限制，许多领域存在无法集中数据进行训练的情况，导致“数据孤岛”的现象。对此，谷歌提出能使大量客户端在数据保存本地的情况下与可信服务器联合训练模型的联邦学习。目前，联邦学习的研究主要集中在安全性和训练效率的问题上，针对跨数据库联邦学习场景，文章将分层联邦学习和基于安全多方计算的隐私保护机制结合，提出了一种基于秘密共享的本地多节点联邦学习算法Mask-FL,以保证联邦学习安全性的同时提高训练效率。主要工作包括：(1)提出本地多节点的跨数据库联邦学习框架，客户端利用本地计算资源生成多个本地节点，并且根据基于计算能力的数据划分方法进行分配数据资源，每个客户端代表局部所有节点参与全局联邦学习训练，从而构成3层级的分层联邦学习；(2)提出基于秘密共享的自适应掩码加密协议，在前面提出的联邦学习框架基础上，通过秘密共享的方式生成可复用的安全参数掩码，本地节点在训练过程的上行通信中对模型添加掩码从而保护模型参数安全。经过安全性假设分析证明，该算法可保护客户端的数据隐私安全。在通用数据集的实验表明，该算法能够在保护隐私的前提下保持相对较高的准确率，并且显著减少了全局通信轮次，训练效率相比于传统联邦学习方法提高30%,有效地提高了跨数据库联邦学习中的模型训练速度。

关键词

联邦学习 / 安全多方计算 / 分布式计算 / 隐私保护