The remarkable development of deep learning in medicine and healthcare domain presents obvious privacy issues, when deep neural networks are built on users’ personal and highly sensitive data, e.g., clinical records, user profiles, biomedical images, etc. However, only a few scientific studies on preserving privacy in deep learning have been conducted. In this paper, we focus on developing a private convolutional deep belief network (pCDBN), which essentially is a convolutional deep belief network (CDBN) under differential privacy. Our main idea of enforcing $$\epsilon $$ϵ-differential privacy is to leverage the functional mechanism to perturb the energy-based objective functions of traditional CDBNs, rather than their results. One key contribution of this work is that we propose the use of Chebyshev expansion to derive the approximate polynomial representation of objective functions. Our theoretical analysis shows that we can further derive the sensitivity and error bounds of the approximate polynomial representation. As a result, preserving differential privacy in CDBNs is feasible. We applied our model in a health social network, i.e., YesiWell data, and in a handwriting digit dataset, i.e., MNIST data, for human behavior prediction, human behavior classification, and handwriting digit recognition tasks. Theoretical analysis and rigorous experimental evaluations show that the pCDBN is highly effective. It significantly outperforms existing solutions.

中文翻译：

---

在卷积深度信念网络中保护差异隐私

深度学习在医学和医疗保健领域的显着发展带来了明显的隐私问题，当深度神经网络建立在用户的个人和高度敏感的数据上时，例如临床记录、用户档案、生物医学图像等。 然而，只有少数科学已经进行了关于在深度学习中保护隐私的研究。在本文中，我们专注于开发一个私有的卷积深度信念网络（pCDBN），它本质上是一个差分隐私下的卷积深度信念网络（CDBN）。我们实施 $$\epsilon $$ϵ-差异隐私的主要思想是利用功能机制来扰乱传统 CDBN 的基于能量的目标函数，而不是它们的结果。这项工作的一个关键贡献是我们建议使用切比雪夫展开来推导目标函数的近似多项式表示。我们的理论分析表明，我们可以进一步推导出近似多项式表示的灵敏度和误差范围。因此，在 CDBN 中保留差异隐私是可行的。我们将我们的模型应用于健康社交网络（即 YesiWell 数据）和手写数字数据集（即 MNIST 数据）中，用于人类行为预测、人类行为分类和手写数字识别任务。理论分析和严格的实验评估表明 pCDBN 非常有效。它明显优于现有解决方案。我们的理论分析表明，我们可以进一步推导出近似多项式表示的灵敏度和误差范围。因此，在 CDBN 中保留差异隐私是可行的。我们将我们的模型应用于健康社交网络（即 YesiWell 数据）和手写数字数据集（即 MNIST 数据）中，用于人类行为预测、人类行为分类和手写数字识别任务。理论分析和严格的实验评估表明 pCDBN 非常有效。它明显优于现有解决方案。我们的理论分析表明，我们可以进一步推导出近似多项式表示的灵敏度和误差范围。因此，在 CDBN 中保留差异隐私是可行的。我们将我们的模型应用于健康社交网络（即 YesiWell 数据）和手写数字数据集（即 MNIST 数据）中，用于人类行为预测、人类行为分类和手写数字识别任务。理论分析和严格的实验评估表明 pCDBN 非常有效。它明显优于现有解决方案。人类行为分类和手写数字识别任务。理论分析和严格的实验评估表明 pCDBN 非常有效。它明显优于现有解决方案。人类行为分类和手写数字识别任务。理论分析和严格的实验评估表明 pCDBN 非常有效。它明显优于现有解决方案。