结合自注意力机制和软阈值降噪的对比联邦学习特征聚合算法

摘要

传统人工智能(artificial intelligence, AI)技术在智慧视觉领域的应用面临着数据异构分布、数据隐私保护和噪声数据干扰等一系列技术难点。为了克服这些挑战，在联邦学习和信号降噪算法的思想上，提出了一种基于降噪和数据特征聚合的对比联邦学习算法(comparative federated learning aggregation feature algorithm with noise reduction, FedCAFNR)。FedCAFNR引入自注意力机制和深度残差网络，构建自适应阈值降噪网络，提高联邦学习从异构性数据中学习关键特征的能力。通过对比学习模型之间的差异，提升局部训练精度，有效增强了个体与全局模型的一致性，进一步提高了模型对非独立同分布数据的鲁棒性。采用3种多分类数据集进行仿真实验，在数据隐私保护的前提下证明了FedCAFNR算法具有良好的收敛性和可拓展性。此外，新算法改进了学习效率，并提高了异构数据环境下联邦学习现有算法的一致性、鲁棒性。

关键词

联邦学习 / 降噪 / 自注意力机制 / 特征聚合

基金资助

国家自然科学基金面上项目(61373131,62071240); 网络与交换技术国家重点实验室开放基金(北京邮电大学,SKLNST-2020-1-17); PAPD; CICAEET