Faces in natural images are often occluded by a variety of objects. We propose a fully automated, probabilistic and occlusion-aware 3D morphable face model adaptation framework following an analysis-by-synthesis setup. The key idea is to segment the image into regions explained by separate models. Our framework includes a 3D morphable face model, a prototype-based beard model and a simple model for occlusions and background regions. The segmentation and all the model parameters have to be inferred from the single target image. Face model adaptation and segmentation are solved jointly using an expectation–maximization-like procedure. During the E-step, we update the segmentation and in the M-step the face model parameters are updated. For face model adaptation we apply a stochastic sampling strategy based on the Metropolis–Hastings algorithm. For segmentation, we apply loopy belief propagation for inference in a Markov random field. Illumination estimation is critical for occlusion handling. Our combined segmentation and model adaptation needs a proper initialization of the illumination parameters. We propose a RANSAC-based robust illumination estimation technique. By applying this method to a large face image database we obtain a first empirical distribution of real-world illumination conditions. The obtained empirical distribution is made publicly available and can be used as prior in probabilistic frameworks, for regularization or to synthesize data for deep learning methods.

中文翻译：

---

遮挡感知 3D 可变形模型和用于人脸图像分析的照明先验

自然图像中的人脸经常被各种物体遮挡。我们提出了一个完全自动化、概率性和遮挡感知的 3D 可变形人脸模型适应框架，遵循综合分析设置。关键思想是将图像分割成由单独模型解释的区域。我们的框架包括一个 3D 可变形人脸模型、一个基于原型的胡须模型和一个用于遮挡和背景区域的简单模型。分割和所有模型参数必须从单个目标图像中推断出来。人脸模型适应和分割是使用类似期望最大化的程序联合解决的。在 E-step 中，我们更新分割，在 M-step 中更新人脸模型参数。对于人脸模型自适应，我们应用基于 Metropolis-Hastings 算法的随机采样策略。对于分割，我们在马尔可夫随机场中应用循环置信传播进行推理。光照估计对于遮挡处理至关重要。我们的组合分割和模型适应需要对照明参数进行适当的初始化。我们提出了一种基于 RANSAC 的鲁棒光照估计技术。通过将此方法应用于大型人脸图像数据库，我们获得了真实世界光照条件的第一个经验分布。获得的经验分布是公开可用的，可以用作概率框架的先验，用于正则化或合成深度学习方法的数据。我们的组合分割和模型适应需要对照明参数进行适当的初始化。我们提出了一种基于 RANSAC 的鲁棒光照估计技术。通过将此方法应用于大型人脸图像数据库，我们获得了真实世界光照条件的第一个经验分布。获得的经验分布是公开可用的，可以用作概率框架的先验，用于正则化或合成深度学习方法的数据。我们的组合分割和模型适应需要对照明参数进行适当的初始化。我们提出了一种基于 RANSAC 的鲁棒光照估计技术。通过将此方法应用于大型人脸图像数据库，我们获得了真实世界光照条件的第一个经验分布。获得的经验分布是公开可用的，可以用作概率框架的先验，用于正则化或合成深度学习方法的数据。