We propose to restore old photos that suffer from severe degradation through a deep learning approach. Unlike conventional restoration tasks that can be solved through supervised learning, the degradation in real photos is complex and the domain gap between synthetic images and real old photos makes the network fail to generalize. Therefore, we propose a novel triplet domain translation network by leveraging real photos along with massive synthetic image pairs. Specifically, we train two variational autoencoders (VAEs) to respectively transform old photos and clean photos into two latent spaces. And the translation between these two latent spaces is learned with synthetic paired data. This translation generalizes well to real photos because the domain gap is closed in the compact latent space. Besides, to address multiple degradations mixed in one old photo, we design a global branch with apartial nonlocal block targeting to the structured defects, such as scratches and dust spots, and a local branch targeting to the unstructured defects, such as noises and blurriness. Two branches are fused in the latent space, leading to improved capability to restore old photos from multiple defects. Furthermore, we apply another face refinement network to recover fine details of faces in the old photos, thus ultimately generating photos with enhanced perceptual quality. With comprehensive experiments, the proposed pipeline demonstrates superior performance over state-of-the-art methods as well as existing commercial tools in terms of visual quality for old photos restoration.

中文翻译：

---

通过深度潜在空间翻译的旧照片恢复

我们建议通过深度学习方法恢复严重退化的旧照片。与可以通过监督学习解决的常规恢复任务不同，真实照片的退化是复杂的，合成图像和真实旧照片之间的域差距使得网络无法泛化。因此，我们通过利用真实照片和大量合成图像对提出了一种新颖的三元组域翻译网络。具体来说，我们训练两个变分自动编码器（VAE）分别将旧照片和干净照片转换为两个潜在空间。这两个潜在空间之间的转换是通过合成配对数据学习的。这种转换很好地推广到真实照片，因为域间隙在紧凑的潜在空间中是封闭的。除了，为了解决混合在一张旧照片中的多个退化问题，我们设计了一个全局分支，其中包含针对结构化缺陷（例如划痕和灰尘点）的分离非局部块，以及针对非结构化缺陷（例如噪声和模糊）的局部分支。在潜在空间中融合了两个分支，从而提高了从多个缺陷中恢复旧照片的能力。此外，我们应用另一个人脸细化网络来恢复旧照片中人脸的精细细节，从而最终生成具有增强感知质量的照片。通过全面的实验，所提出的管道在旧照片恢复的视觉质量方面表现出优于最先进方法和现有商业工具的性能。我们设计了一个全局分支，具有针对结构化缺陷（例如划痕和灰尘点）的分离非局部块，以及针对非结构化缺陷（例如噪声和模糊）的局部分支。在潜在空间中融合了两个分支，从而提高了从多个缺陷中恢复旧照片的能力。此外，我们应用另一个人脸细化网络来恢复旧照片中人脸的精细细节，从而最终生成具有增强感知质量的照片。通过全面的实验，所提出的管道在旧照片恢复的视觉质量方面表现出优于最先进方法和现有商业工具的性能。我们设计了一个全局分支，具有针对结构化缺陷（例如划痕和灰尘点）的分离非局部块，以及针对非结构化缺陷（例如噪声和模糊）的局部分支。在潜在空间中融合了两个分支，从而提高了从多个缺陷中恢复旧照片的能力。此外，我们应用另一个人脸细化网络来恢复旧照片中人脸的精细细节，从而最终生成具有增强感知质量的照片。通过全面的实验，所提出的管道在旧照片恢复的视觉质量方面表现出优于最先进方法和现有商业工具的性能。例如噪音和模糊。在潜在空间中融合了两个分支，从而提高了从多个缺陷中恢复旧照片的能力。此外，我们应用另一个人脸细化网络来恢复旧照片中人脸的精细细节，从而最终生成具有增强感知质量的照片。通过全面的实验，所提出的管道在旧照片恢复的视觉质量方面表现出优于最先进方法和现有商业工具的性能。例如噪音和模糊。在潜在空间中融合了两个分支，从而提高了从多个缺陷中恢复旧照片的能力。此外，我们应用另一个人脸细化网络来恢复旧照片中人脸的精细细节，从而最终生成具有增强感知质量的照片。通过全面的实验，所提出的管道在旧照片恢复的视觉质量方面表现出优于最先进方法和现有商业工具的性能。