Research showed that deep learning models are vulnerable to membership inference attacks, which aim to determine if an example is in the training set of the model. We propose a new framework to defend against this sort of attack. Our key insight is that if we retrain the original classifier with a new dataset that is independent of the original training set while their elements are sampled from the same distribution, the retrained classifier will leak no information that cannot be inferred from the distribution about the original training set. Our framework consists of three phases. First, we transferred the original classifier to a Joint Energy-based Model (JEM) to exploit the model’s implicit generative power. Then, we sampled from the JEM to create a new dataset. Finally, we used the new dataset to retrain or fine-tune the original classifier. We empirically studied different transfer learning schemes for the JEM and fine-tuning/retraining strategies for the classifier against shadow-model attacks. Our evaluation shows that our framework can suppress the attacker’s membership advantage to a negligible level while keeping the classifier’s accuracy acceptable. We compared it with other state-of-the-art defenses considering adaptive attackers and showed our defense is effective even under the worst-case scenario. Besides, we also found that combining other defenses with our framework often achieves better robustness. Our code will be made available at https://github.com/ChenJiyu/meminf-defense.git.

研究表明，深度学习模型容易受到成员推理攻击的影响，成员攻击旨在确定模型的训练集中是否存在示例。我们提出了一个新的框架来防御这种攻击。我们的主要见解是，如果我们使用独立于原始训练集的新数据集重新训练原始分类器，而其元素是从同一分布中采样的，则重新训练的分类器将不会泄漏无法从原始分布中推断出的信息训练集。我们的框架包括三个阶段。首先，我们将原始分类器转移到基于能量的联合模型（JEM），以利用模型的隐式生成能力。然后，我们从JEM中采样以创建一个新的数据集。最后，我们使用新的数据集来重新训练或微调原始分类器。我们根据经验研究了针对JEM的不同转移学习方案，以及针对影子模型攻击的分类器的微调/再训练策略。我们的评估表明，我们的框架可以将攻击者的成员资格优势抑制到微不足道的水平，同时又使分类器的准确性可以接受。我们将其与考虑了自适应攻击者的其他最新防御技术进行了比较，并表明即使在最坏的情况下，我们的防御也是有效的。此外，我们还发现，将其他防御措施与我们的框架结合在一起通常可以实现更好的鲁棒性。我们的代码将在https://github.com/ChenJiyu/meminf-defense.git上提供。我们的评估表明，我们的框架可以将攻击者的成员资格优势抑制到微不足道的水平，同时又使分类器的准确性可以接受。我们将其与考虑了自适应攻击者的其他最新防御技术进行了比较，并表明即使在最坏的情况下，我们的防御也是有效的。此外，我们还发现，将其他防御措施与我们的框架结合在一起通常可以实现更好的鲁棒性。我们的代码将在https://github.com/ChenJiyu/meminf-defense.git上提供。我们的评估表明，我们的框架可以将攻击者的成员资格优势抑制到微不足道的水平，同时又使分类器的准确性可以接受。我们将其与考虑了自适应攻击者的其他最新防御技术进行了比较，并表明即使在最坏的情况下，我们的防御也是有效的。此外，我们还发现，将其他防御措施与我们的框架结合在一起通常可以实现更好的鲁棒性。我们的代码将在https://github.com/ChenJiyu/meminf-defense.git上提供。我们还发现，将其他防御措施与我们的框架结合在一起通常可以实现更好的鲁棒性。我们的代码将在https://github.com/ChenJiyu/meminf-defense.git上提供。我们还发现，将其他防御措施与我们的框架结合在一起通常可以实现更好的鲁棒性。我们的代码将在https://github.com/ChenJiyu/meminf-defense.git上提供。