In this paper, we introduce a novel approach to learn a 3D face model using a joint-based face rig and a neural skinning network. Thanks to the joint-based representation, our model enjoys some significant advantages over prior blendshape-based models. First, it is very compact such that we are orders of magnitude smaller while still keeping strong modeling capacity. Second, because each joint has its semantic meaning, interactive facial geometry editing is made easier and more intuitive. Third, through skinning, our model supports adding mouth interior and eyes, as well as accessories (hair, eye glasses, etc.) in a simpler, more accurate and principled way. We argue that because the human face is highly structured and topologically consistent, it does not need to be learned entirely from data. Instead we can leverage prior knowledge in the form of a human-designed 3D face rig to reduce the data dependency, and learn a compact yet strong face model from only a small dataset (less than one hundred 3D scans). To further improve the modeling capacity, we train a skinning weight generator through adversarial learning. Experiments on fitting high-quality 3D scans (both neutral and expressive), noisy depth images, and RGB images demonstrate that its modeling capacity is on-par with state-of-the-art face models, such as FLAME and Facewarehouse, even though the model is 10 to 20 times smaller. This suggests broad value in both graphics and vision applications on mobile and edge devices.

中文翻译：

---

JNR：用于紧凑型 3D 人脸建模的基于关节的神经钻机表示

在本文中，我们介绍了一种使用基于关节的人脸装备和神经蒙皮网络来学习 3D 人脸模型的新方法。由于基于联合的表示，我们的模型比之前的基于混合形状的模型具有一些显着的优势。首先，它非常紧凑，因此我们在保持强大的建模能力的同时小了几个数量级。其次，因为每个关节都有其语义含义，交互式面部几何编辑变得更容易和更直观。第三，通过蒙皮，我们的模型支持以更简单、更准确和有原则的方式添加嘴巴内部和眼睛，以及配件（头发、眼镜等）。我们认为，由于人脸是高度结构化和拓扑一致的，因此不需要完全从数据中学习。相反，我们可以利用人工设计的 3D 人脸装备形式的先验知识来减少数据依赖性，并仅从一个小数据集（少于一百个 3D 扫描）中学习一个紧凑而强大的人脸模型。为了进一步提高建模能力，我们通过对抗性学习训练蒙皮权重生成器。拟合高质量 3D 扫描（中性和表现力）、噪声深度图像和 RGB 图像的实验表明，其建模能力与最先进的人脸模型（如 FLAME 和 Facewarehouse）相当，即使该模型小 10 到 20 倍。这表明移动和边缘设备上的图形和视觉应用具有广泛的价值。并仅从一个小数据集（少于一百个 3D 扫描）中学习一个紧凑而强大的人脸模型。为了进一步提高建模能力，我们通过对抗性学习训练蒙皮权重生成器。拟合高质量 3D 扫描（中性和表现力）、噪声深度图像和 RGB 图像的实验表明，其建模能力与最先进的人脸模型（如 FLAME 和 Facewarehouse）不相上下，即使该模型小 10 到 20 倍。这表明移动和边缘设备上的图形和视觉应用具有广泛的价值。并仅从一个小数据集（少于一百个 3D 扫描）中学习一个紧凑而强大的人脸模型。为了进一步提高建模能力，我们通过对抗性学习训练蒙皮权重生成器。拟合高质量 3D 扫描（中性和表现力）、噪声深度图像和 RGB 图像的实验表明，其建模能力与最先进的人脸模型（如 FLAME 和 Facewarehouse）相当，即使该模型小 10 到 20 倍。这表明移动和边缘设备上的图形和视觉应用具有广泛的价值。和 RGB 图像表明，它的建模能力与最先进的人脸模型（例如 FLAME 和 Facewarehouse）不相上下，尽管模型要小 10 到 20 倍。这表明移动和边缘设备上的图形和视觉应用具有广泛的价值。和 RGB 图像表明，它的建模能力与最先进的人脸模型（例如 FLAME 和 Facewarehouse）不相上下，尽管模型要小 10 到 20 倍。这表明移动和边缘设备上的图形和视觉应用具有广泛的价值。