Over the past few years, Generative Adversarial Networks (GANs) have garnered increased interest among researchers in Computer Vision, with applications including, but not limited to, image generation, translation, imputation, and super-resolution. Nevertheless, no GAN-based method has been proposed in the literature that can successfully represent, generate or translate 3D facial shapes (meshes). This can be primarily attributed to two facts, namely that (a) publicly available 3D face databases are scarce as well as limited in terms of sample size and variability (e.g., few subjects, little diversity in race and gender), and (b) mesh convolutions for deep networks present several challenges that are not entirely tackled in the literature, leading to operator approximations and model instability, often failing to preserve high-frequency components of the distribution. As a result, linear methods such as Principal Component Analysis (PCA) have been mainly utilized towards 3D shape analysis, despite being unable to capture non-linearities and high frequency details of the 3D face—such as eyelid and lip variations. In this work, we present 3DFaceGAN, the first GAN tailored towards modeling the distribution of 3D facial surfaces, while retaining the high frequency details of 3D face shapes. We conduct an extensive series of both qualitative and quantitative experiments, where the merits of 3DFaceGAN are clearly demonstrated against other, state-of-the-art methods in tasks such as 3D shape representation, generation, and translation.

中文翻译：

---

3DFaceGAN：用于 3D 人脸表示、生成和翻译的对抗网络

在过去几年中，生成对抗网络 (GAN) 引起了计算机视觉研究人员越来越多的兴趣，其应用包括但不限于图像生成、翻译、插补和超分辨率。尽管如此，文献中还没有提出可以成功表示、生成或转换 3D 面部形状（网格）的基于 GAN 的方法。这主要归因于两个事实，即 (a) 公开可用的 3D 人脸数据库稀缺且样本量和可变性有限（例如，受试者很少，种族和性别的多样性很小），以及 (b)深度网络的网格卷积提出了一些文献中没有完全解决的挑战，导致算子近似和模型不稳定，通常未能保留分布的高频分量。因此，主成分分析 (PCA) 等线​​性方法主要用于 3D 形状分析，尽管无法捕捉 3D 面部的非线性和高频细节，例如眼睑和嘴唇的变化。在这项工作中，我们提出了 3DFaceGAN，这是第一个针对 3D 面部表面分布建模的 GAN，同时保留了 3D 面部形状的高频细节。我们进行了一系列广泛的定性和定量实验，其中 3DFaceGAN 的优点在 3D 形状表示、生成和翻译等任务中与其他最先进的方法相比得到了明确的证明。主要成分分析 (PCA) 等线​​性方法主要用于 3D 形状分析，尽管无法捕捉 3D 面部的非线性和高频细节，例如眼睑和嘴唇的变化。在这项工作中，我们提出了 3DFaceGAN，这是第一个针对 3D 面部表面分布建模的 GAN，同时保留了 3D 面部形状的高频细节。我们进行了一系列广泛的定性和定量实验，其中 3DFaceGAN 的优点在 3D 形状表示、生成和翻译等任务中与其他最先进的方法相比得到了明确的证明。主要成分分析 (PCA) 等线​​性方法主要用于 3D 形状分析，尽管无法捕捉 3D 面部的非线性和高频细节，例如眼睑和嘴唇的变化。在这项工作中，我们提出了 3DFaceGAN，这是第一个针对 3D 面部表面分布建模的 GAN，同时保留了 3D 面部形状的高频细节。我们进行了一系列广泛的定性和定量实验，其中 3DFaceGAN 的优点在 3D 形状表示、生成和翻译等任务中与其他最先进的方法相比得到了明确的证明。第一个针对 3D 面部表面分布建模的 GAN，同时保留 3D 面部形状的高频细节。我们进行了一系列广泛的定性和定量实验，其中 3DFaceGAN 的优点在 3D 形状表示、生成和翻译等任务中与其他最先进的方法相比得到了明确的证明。第一个针对 3D 面部表面分布建模的 GAN，同时保留 3D 面部形状的高频细节。我们进行了一系列广泛的定性和定量实验，其中 3DFaceGAN 的优点在 3D 形状表示、生成和翻译等任务中与其他最先进的方法相比得到了明确的证明。