基于深度学习的动态差分隐私保护算法

摘要

深度学习中使用的训练的数据集中可能存在一些用户的敏感信息，在模型训练过程中，这些敏感信息将会隐含地存在于模型参数中，从而存在隐私泄露的风险。本文在AdamP优化器的基础上引入高斯机制的差分隐私，提出了一种基于一次幂函数的动态隐私预算分配算法来更合理地分配差分隐私的隐私预算，即DP-AdamP,以更好地平衡隐私性和模型准确性。实验结果表明，本文的DP-AdamP算法相比于传统的DP-SGD算法，在相同隐私预算下具有更好的准确性，低隐私预算情况下高出约7.7%,高隐私预算情况下高出约3.9%,并且针对更具有实际意义的低隐私预算的情况进行单独实验，进一步验证了DP-AdamP算法的有效性。

关键词

深度学习 / 差分隐私 / 动态隐私预算 / AdamP算法