当前位置: X-MOL 学术IEEE Trans. Inform. Forensics Secur. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Using Highly Compressed Gradients in Federated Learning for Data Reconstruction Attacks
IEEE Transactions on Information Forensics and Security ( IF 6.8 ) Pub Date : 2022-12-29 , DOI: 10.1109/tifs.2022.3227761
Haomiao Yang, Mengyu Ge, Kunlan Xiang, Jingwei Li

Federated learning (FL) preserves data privacy by exchanging gradients instead of local training data. However, these private data can still be reconstructed from the exchanged gradients. Deep leakage from gradients (DLG) is a classical reconstruction attack that optimizes dummy data to real data by making the corresponding dummy and real gradients as similar as possible. Nevertheless, DLG fails with highly compressed gradients, which are crucial for communication-efficient FL. In this study, we propose an effective data reconstruction attack against highly compressed gradients, called highly compressed gradient leakage attack (HCGLA). In particular, HCGLA is characterized by the following three key techniques: 1) Owing to the unreasonable optimization objective of DLG in compression scenarios, we redesign a plausible objective function, ensuring that compressed dummy gradients are similar to the compressed real gradients. 2) Instead of simply initializing dummy data through random noise, as in DLG, we design a novel dummy data initialization method, Init-Generation, to compensate for information loss caused by gradient compression. 3) To further enhance reconstruction quality, we train an ad hoc denoising model using the methods of “first optimizing, next filtering, and then reoptimizing”. Extensive experiments on various benchmark data sets and mainstream models show that HCGLA is an effective reconstruction attack even against highly compressed gradients of 0.1%, whereas state-of-the-art attacks can only support 70% compression, thereby achieving a 700-fold improvement.

中文翻译:

在联邦学习中使用高度压缩的梯度进行数据重建攻击

联邦学习 (FL) 通过交换梯度而不是本地训练数据来保护数据隐私。然而,这些私有数据仍然可以从交换的梯度中重建。梯度深度泄漏 (DLG) 是一种经典的重建攻击,它通过使相应的虚拟梯度和真实梯度尽可能相似来将虚拟数据优化为真实数据。然而,DLG 在高度压缩的梯度下失败了,这对于通信高效的 FL 至关重要。在这项研究中,我们提出了一种针对高度压缩梯度的有效数据重建攻击,称为高度压缩梯度泄漏攻击(HCGLA)。特别是,HCGLA 具有以下三个关键技术:1)由于 DLG 在压缩场景中的优化目标不合理,我们重新设计了一个合理的目标函数,确保压缩的虚拟梯度与压缩的真实梯度相似。2)我们设计了一种新颖的虚拟数据初始化方法 Init-Generation,而不是像 DLG 那样简单地通过随机噪声初始化虚拟数据,以补偿梯度压缩造成的信息损失。3)为了进一步提高重建质量,我们采用“先优化、下过滤、再优化”的方法训练了一个ad hoc去噪模型。在各种基准数据集和主流模型上的大量实验表明,即使针对 0.1% 的高度压缩梯度,HCGLA 也是一种有效的重建攻击,而最先进的攻击只能支持 70% 的压缩,从而实现了 700 倍的改进. 2)我们设计了一种新颖的虚拟数据初始化方法 Init-Generation,而不是像 DLG 那样简单地通过随机噪声初始化虚拟数据,以补偿梯度压缩造成的信息损失。3)为了进一步提高重建质量,我们采用“先优化、下过滤、再优化”的方法训练了一个ad hoc去噪模型。在各种基准数据集和主流模型上的大量实验表明,即使针对 0.1% 的高度压缩梯度,HCGLA 也是一种有效的重建攻击,而最先进的攻击只能支持 70% 的压缩,从而实现了 700 倍的改进. 2)我们设计了一种新颖的虚拟数据初始化方法 Init-Generation,而不是像 DLG 那样简单地通过随机噪声初始化虚拟数据,以补偿梯度压缩造成的信息损失。3)为了进一步提高重建质量,我们采用“先优化、下过滤、再优化”的方法训练了一个ad hoc去噪模型。在各种基准数据集和主流模型上的大量实验表明,即使针对 0.1% 的高度压缩梯度,HCGLA 也是一种有效的重建攻击,而最先进的攻击只能支持 70% 的压缩,从而实现了 700 倍的改进. 3)为了进一步提高重建质量,我们采用“先优化、下过滤、再优化”的方法训练了一个ad hoc去噪模型。在各种基准数据集和主流模型上的大量实验表明,即使针对 0.1% 的高度压缩梯度,HCGLA 也是一种有效的重建攻击,而最先进的攻击只能支持 70% 的压缩,从而实现了 700 倍的改进. 3)为了进一步提高重建质量,我们采用“先优化、下过滤、再优化”的方法训练了一个ad hoc去噪模型。在各种基准数据集和主流模型上的大量实验表明,即使针对 0.1% 的高度压缩梯度,HCGLA 也是一种有效的重建攻击,而最先进的攻击只能支持 70% 的压缩,从而实现了 700 倍的改进.
更新日期:2022-12-30
down
wechat
bug