基于增量梯度相似度更新的联邦学习多样化客户端选择方法

摘要

为降低联邦学习多样化客户端选择方法(diverse client selection method for federated learning, DivFL)在大规模联邦学习中维护梯度相似度矩阵的计算开销，提出一种基于增量梯度相似度更新的联邦学习多样化客户端选择方法IS-DivFL,通过为每个客户端构建梯度摘要，并仅对梯度变化量超过阈值的客户端所对应的相似度矩阵进行更新，有效降低了相似度矩阵维护阶段的复杂度。实验结果表明：IS-DivFL能够保持与DivFL相当的测试精度与方差水平，同时在100～1 000个客户端规模下，IS-DivFL在相似度维护阶段的平均运行时间相较于DivFL减少50%～70%。综上，IS-DivFL为大规模联邦学习中的多样化客户端选择提供了一种兼顾模型性能与降低计算开销的方法。

关键词

联邦学习 / 客户端选择 / 计算开销 / 梯度相似度 / 梯度摘要 / 相似度矩阵更新