基于相似度感知和选择性通信协议的个性化联邦学习框架

摘要

提出一种名为相似度感知选择性知识蒸馏（TSKD）的个性化联邦学习框架，旨在解决传统联邦学习框架在通信效率和模型定制方面的局限性. TSKD框架通过设置一个小规模预加载的参考数据集，使本地用户设备能够生成通信凭证并基于此评估其与异构设备网络内其余设备的相似度.根据这个相似度指标，TSKD为本地用户设备分配协作对象并令本地模型与之进行知识共享，进而在保证本地模型个性化的前提下提高模型的性能.在三个真实世界数据集上进行的实验表明，TSKD在各项评估指标上的表现均优于传统的中心化和去中心化学习方法，且能够在资源受限的环境中高效地实现知识共享，提升模型的准确性和个性化程度.

关键词

联邦学习 / 个性化分析 / 知识蒸馏 / 数据异质 / 异构问题

基金资助

国家自然科学基金(62172056); 中国人工智能学会青年人才托举工程(2022QNRC001)