We introduce a deep learning framework able to deal with strong privacy constraints. Based on collaborative learning, differential privacy and homomorphic encryption, the proposed approach advances state-of-the-art of private deep learning against a wider range of threats, in particular the honest-but-curious server assumption. We address threats from both the aggregation server, the global model and potentially colluding data holders. Building upon distributed differential privacy and a homomorphic argmax operator, our method is specifically designed to maintain low communication loads and efficiency. The proposed method is supported by carefully crafted theoretical results. We provide differential privacy guarantees from the point of view of any entity having access to the final model, including colluding data holders, as a function of the ratio of data holders who kept their noise secret. This makes our method practical to real-life scenarios where data holders do not trust any third party to process their datasets nor the other data holders. Crucially the computational burden of the approach is maintained reasonable, and, to the best of our knowledge, our framework is the first one to be efficient enough to investigate deep learning applications while addressing such a large scope of threats. To assess the practical usability of our framework, experiments have been carried out on image datasets in a classification context. We present numerical results that show that the learning procedure is both accurate and private.

我们引入了一个深度学习框架，该框架能够应对强大的隐私约束。基于协作学习，差分隐私和同态加密，所提出的方法针对更广泛的威胁（尤其是诚实但好奇的服务器假设）推进了私有深度学习的最新技术。我们同时应对来自聚合服务器，全局模型和潜在的合谋数据持有者的威胁。基于分布式差分隐私和同态argmax运算符，我们的方法经过专门设计，可保持较低的通信负载和效率。精心设计的理论结果为所提出的方法提供了支持。从任何有权访问最终模型的实体（包括合谋数据持有者，取决于保持噪声秘密的数据持有者比例的函数。这使我们的方法适用于数据持有人不信任任何第三方来处理其数据集或其他数据持有人的现实情况。至关重要的是，该方法的计算负担保持合理，并且就我们所知，我们的框架是第一个足以有效研究深度学习应用程序，同时解决如此大范围威胁的框架。为了评估我们框架的实际可用性，我们在分类上下文中对图像数据集进行了实验。我们提供的数值结果表明，学习过程既准确又私密。这使我们的方法适用于数据持有人不信任任何第三方来处理其数据集或其他数据持有人的现实情况。至关重要的是，该方法的计算负担应保持合理，并且就我们所知，我们的框架是第一个足以有效研究深度学习应用程序，同时解决如此大范围威胁的框架。为了评估我们框架的实际可用性，我们在分类上下文中对图像数据集进行了实验。我们提供的数值结果表明，学习过程既准确又私密。这使我们的方法适用于数据持有人不信任任何第三方来处理其数据集或其他数据持有人的现实情况。至关重要的是，该方法的计算负担应保持合理，并且就我们所知，我们的框架是第一个足以有效研究深度学习应用程序，同时解决如此大范围威胁的框架。为了评估我们框架的实际可用性，我们在分类上下文中对图像数据集进行了实验。我们提供的数值结果表明，学习过程既准确又私密。我们的框架是第一个足以有效研究深度学习应用程序，同时解决如此大范围威胁的框架。为了评估我们框架的实际可用性，我们在分类上下文中对图像数据集进行了实验。我们提供的数值结果表明，学习过程既准确又私密。我们的框架是第一个足以有效研究深度学习应用程序，同时解决如此大范围威胁的框架。为了评估我们框架的实际可用性，我们在分类上下文中对图像数据集进行了实验。我们提供的数值结果表明，学习过程既准确又私密。