一种通信高效的联邦学习EM算法

摘要

作为一种流行的机器学习方法，联邦学习允许多个客户端在不共享数据的前提下联合完成优化任务.得益于客户端本地多步更新，联邦学习能够有效减少与服务器的通信轮次、加快算法收敛速度.现有的联邦学习算法多集中关注随机梯度下降迭代方式的学习任务，主要使用本地多步更新.在联邦学习场景中，作为解决含隐变量模型参数估计问题的常用方法之一，EM算法能否受益于本地多步更新目前仍然是一个公开问题.本文提出了一种新的联邦学习EM算法，算法通过客户端在本地执行多步EM步骤来以减少通信负担.理论分析表明，算法能够达到与非隐变量联邦学习方法相当的收敛速度.进一步，算法在高斯混合模型上的仿真结果表明，对比单步EM，多步EM步骤能够显著减少算法收敛所需的通信轮次.因此，本文的结果对以上公开问题给出了肯定的回答.

关键词

联邦学习 / EM算法 / 高斯混合模型 / 本地多步更新