边缘联邦学习中的量化感知训练及安全挑战

摘要

传统量化模型虽能降低模型复杂度、降低推理开销，但其量化扰动也会带来一定的性能损失.量化感知训练旨在提高神经网络对量化扰动的鲁棒性.为了使联邦学习中的边缘设备在计算资源受限的情况下进行实时推理，本文将量化感知训练引入边缘联邦学习场景，并提出了量化感知边缘联邦学习框架.在该框架中，量化后的全局模型部署在终端，并且不会产生过大性能损失，从而解决了边缘设备对用户推理需求实时快速响应与自身算力不足的矛盾.此外，本文发现在联邦学习中引入量化感知训练会带来一定的安全风险，攻击者可以利用量化感知训练恶意模型.进一步地，本文也提出了两种联邦量化攻击.实验结果表明本文所提方法在CIFAR10数据集上，使用ResNet18训练的全局模型在被量化至4-bit时仍保持62%的准确率，相较于传统的边缘联邦学习方法提升30%.另外，联邦量化攻击在8-bit量化下的攻击成功率相比现有工作提升10%.

关键词

联邦学习 / 量化扰动 / 边缘联邦学习 / 量化感知训练

基金资助

国家重点研发计划项目(2022YFB3104502)资助; 武汉市星地融合新一代无线通信产业创新联合实验室项目(4050902040448)资助; 武汉市科技计划项目(2024050702030090)资助; 武汉市交通强国建设试点科技联合项目(No.2023-2-7)资助