As the modern world becomes increasingly digitized and interconnected, distributed signal processing has proven to be effective in processing its large volume of data. However, a main challenge limiting the broad use of distributed signal processing techniques is the issue of privacy in handling sensitive data. To address this privacy issue, we propose a novel yet general subspace perturbation method for privacy-preserving distributed optimization, which allows each node to obtain the desired solution while protecting its private data. In particular, we show that the dual variable introduced in each distributed optimizer will not converge in a certain subspace determined by the graph topology. Additionally, the optimization variable is ensured to converge to the desired solution, because it is orthogonal to this non-convergent subspace. We therefore propose to insert noise in the non-convergent subspace through the dual variable such that the private data are protected, and the accuracy of the desired solution is completely unaffected. Moreover, the proposed method is shown to be secure under two widely-used adversary models: passive and eavesdropping. Furthermore, we consider several distributed optimizers such as ADMM and PDMM to demonstrate the general applicability of the proposed method. Finally, we test the performance through a set of applications. Numerical tests indicate that the proposed method is superior to existing methods in terms of several parameters like estimated accuracy, privacy level, communication cost and convergence rate.

中文翻译：

---

通过子空间扰动的隐私保护分布式优化：通用框架

随着现代世界变得日益数字化和互联，分布式信号处理已被证明在处理其大量数据方面是有效的。然而，限制分布式信号处理技术广泛使用的一个主要挑战是处理敏感数据时的隐私问题。为了解决这个隐私问题，我们提出了一种新颖而通用的子空间扰动方法，用于隐私保护分布式优化，它允许每个节点在保护其私有数据的同时获得所需的解决方案。特别是，我们表明每个分布式优化器中引入的对偶变量不会在由图拓扑确定的某个子空间中收敛。此外，优化变量确保收敛到所需的解，因为它与这个非收敛子空间正交。因此，我们建议通过对偶变量在非收敛子空间中插入噪声，从而保护私有数据，并且完全不影响所需解决方案的准确性。此外，所提出的方法在两种广泛使用的对手模型下被证明是安全的：被动和窃听。此外，我们考虑了几个分布式优化器，如 ADMM 和 PDMM，以证明所提出方法的普遍适用性。最后，我们通过一组应用程序测试性能。数值测试表明，所提出的方法在估计精度、隐私水平、通信成本和收敛速度等几个参数方面优于现有方法。并且所需解的准确性完全不受影响。此外，所提出的方法在两种广泛使用的对手模型下被证明是安全的：被动和窃听。此外，我们考虑了几个分布式优化器，如 ADMM 和 PDMM，以证明所提出方法的普遍适用性。最后，我们通过一组应用程序测试性能。数值测试表明，所提出的方法在估计精度、隐私水平、通信成本和收敛速度等几个参数方面优于现有方法。并且所需解的准确性完全不受影响。此外，所提出的方法在两种广泛使用的对手模型下被证明是安全的：被动和窃听。此外，我们考虑了几个分布式优化器，如 ADMM 和 PDMM，以证明所提出方法的普遍适用性。最后，我们通过一组应用程序测试性能。数值测试表明，所提出的方法在估计精度、隐私水平、通信成本和收敛速度等几个参数方面优于现有方法。我们考虑了几个分布式优化器，如 ADMM 和 PDMM，以证明所提出方法的普遍适用性。最后，我们通过一组应用程序测试性能。数值测试表明，所提出的方法在估计精度、隐私水平、通信成本和收敛速度等几个参数方面优于现有方法。我们考虑了几个分布式优化器，如 ADMM 和 PDMM，以证明所提出方法的普遍适用性。最后，我们通过一组应用程序测试性能。数值测试表明，所提出的方法在估计精度、隐私水平、通信成本和收敛速度等几个参数方面优于现有方法。