Generative adversarial network (GAN) has attracted increasing attention recently owing to its impressive ability to generate realistic samples with high privacy protection. Without directly interactive with training examples, the generative model can be fully used to estimate the underlying distribution of an original dataset while the discriminative model can examine the quality of the generated samples by comparing the label values with the training examples. However, when GANs are applied on sensitive or private training examples, such as medical or financial records, it is still probable to divulge individuals' sensitive and private information. To mitigate this information leakage and construct a private GAN, in this work we propose a R\'enyi-differentially private-GAN (RDP-GAN), which achieves differential privacy (DP) in a GAN by carefully adding random noises on the value of the loss function during training. Moreover, we derive the analytical results of the total privacy loss under the subsampling method and cumulated iterations, which show its effectiveness on the privacy budget allocation. In addition, in order to mitigate the negative impact brought by the injecting noise, we enhance the proposed algorithm by adding an adaptive noise tuning step, which will change the volume of added noise according to the testing accuracy. Through extensive experimental results, we verify that the proposed algorithm can achieve a better privacy level while producing high-quality samples compared with a benchmark DP-GAN scheme based on noise perturbation on training gradients.

中文翻译：

---

RDP-GAN：AR\'enyi-基于差分隐私的生成对抗网络

生成对抗网络（GAN）由于其令人印象深刻的生成具有高隐私保护的真实样本的能力，最近引起了越来越多的关注。无需直接与训练样例交互，生成模型可以完全用于估计原始数据集的底层分布，而判别模型可以通过将标签值与训练样例进行比较来检查生成样本的质量。然而，当 GAN 应用于敏感或私人的训练示例时，例如医疗或财务记录，仍然有可能泄露个人的敏感和私人信息。为了减轻这种信息泄漏并构建私有 GAN，在这项工作中，我们提出了一个 R\'enyi-差异私有 GAN（RDP-GAN），它通过在训练期间小心地在损失函数的值上添加随机噪声来实现 GAN 中的差分隐私（DP）。此外，我们得出了子采样方法和累积迭代下总隐私损失的分析结果，这表明了其对隐私预算分配的有效性。此外，为了减轻注入噪声带来的负面影响，我们通过添加自适应噪声调整步骤来增强所提出的算法，该步骤将根据测试精度改变添加噪声的量。通过大量的实验结果，我们验证了与基于训练梯度噪声扰动的基准 DP-GAN 方案相比，所提出的算法可以在产生高质量样本的同时实现更好的隐私级别。我们推导出子采样方法和累积迭代下总隐私损失的分析结果，表明其对隐私预算分配的有效性。此外，为了减轻注入噪声带来的负面影响，我们通过添加自适应噪声调整步骤来增强所提出的算法，该步骤将根据测试精度改变添加噪声的量。通过大量的实验结果，我们验证了与基于训练梯度噪声扰动的基准 DP-GAN 方案相比，所提出的算法可以在产生高质量样本的同时实现更好的隐私级别。我们推导出子采样方法和累积迭代下总隐私损失的分析结果，表明其对隐私预算分配的有效性。此外，为了减轻注入噪声带来的负面影响，我们通过添加自适应噪声调整步骤来增强所提出的算法，该步骤将根据测试精度改变添加噪声的量。通过大量的实验结果，我们验证了与基于训练梯度噪声扰动的基准 DP-GAN 方案相比，所提出的算法可以在产生高质量样本的同时实现更好的隐私级别。我们通过添加自适应噪声调整步骤来增强所提出的算法，这将根据测试精度改变添加的噪声量。通过大量的实验结果，我们验证了与基于训练梯度噪声扰动的基准 DP-GAN 方案相比，所提出的算法可以在产生高质量样本的同时实现更好的隐私级别。我们通过添加自适应噪声调整步骤来增强所提出的算法，这将根据测试精度改变添加的噪声量。通过大量的实验结果，我们验证了与基于训练梯度噪声扰动的基准 DP-GAN 方案相比，所提出的算法可以在产生高质量样本的同时实现更好的隐私级别。