Though face rotation has achieved rapid progress in recent years, the lack of high-quality paired training data remains a great hurdle for existing methods. The current generative models heavily rely on datasets with multi-view images of the same person. Thus, their generated results are restricted by the scale and domain of the data source. To overcome these challenges, we propose a novel unsupervised framework that can synthesize photo-realistic rotated faces using only single-view image collections in the wild. Our key insight is that rotating faces in the 3D space back and forth, and re-rendering them to the 2D plane can serve as a strong self-supervision. We leverage the recent advances in 3D face modeling and high-resolution GAN to constitute our building blocks. Since the 3D rotation-and-render on faces can be applied to arbitrary angles without losing details, our approach is extremely suitable for in-the-wild scenarios (i.e. no paired data are available), where existing methods fall short. Extensive experiments demonstrate that our approach has superior synthesis quality as well as identity preservation over the state-of-the-art methods, across a wide range of poses and domains. Furthermore, we validate that our rotate-and-render framework naturally can act as an effective data augmentation engine for boosting modern face recognition systems even on strong baseline models.

中文翻译：

---

旋转和渲染：来自单视图图像的无监督真实感人脸旋转

尽管近年来人脸旋转取得了快速进展，但缺乏高质量的配对训练数据仍然是现有方法的一大障碍。当前的生成模型严重依赖于具有同一个人多视图图像的数据集。因此，它们生成的结果受到数据源规模和域的限制。为了克服这些挑战，我们提出了一种新颖的无监督框架，该框架可以仅使用野外的单视图图像集合来合成逼真的旋转人脸。我们的主要见解是在 3D 空间中来回旋转人脸，并将它们重新渲染到 2D 平面可以作为强大的自我监督。我们利用 3D 人脸建模和高分辨率 GAN 的最新进展来构成我们的构建块。由于面部 3D 旋转和渲染可以应用于任意角度而不会丢失细节，因此我们的方法非常适合野外场景（即没有可用的配对数据），现有方法无法满足这些场景。大量实验表明，我们的方法在广泛的姿势和领域中具有优于最先进方法的合成质量和身份保存。此外，我们验证了我们的旋转和渲染框架自然可以充当有效的数据增强引擎，即使在强大的基线模型上也能提升现代人脸识别系统。大量实验表明，我们的方法在广泛的姿势和领域中具有优于最先进方法的合成质量和身份保存。此外，我们验证了我们的旋转和渲染框架自然可以充当有效的数据增强引擎，即使在强大的基线模型上也能提升现代人脸识别系统。大量实验表明，我们的方法在广泛的姿势和领域中具有优于最先进方法的合成质量和身份保存。此外，我们验证了我们的旋转和渲染框架自然可以充当有效的数据增强引擎，即使在强大的基线模型上也能提升现代人脸识别系统。