We present a differentiable ray-tracing based novel face reconstruction approach where scene attributes - 3D geometry, reflectance (diffuse, specular and roughness), pose, camera parameters, and scene illumination - are estimated from unconstrained monocular images. The proposed method models scene illumination via a novel, parameterized virtual light stage, which in-conjunction with differentiable ray-tracing, introduces a coarse-to-fine optimization formulation for face reconstruction. Our method can not only handle unconstrained illumination and self-shadows conditions, but also estimates diffuse and specular albedos. To estimate the face attributes consistently and with practical semantics, a two-stage optimization strategy systematically uses a subset of parametric attributes, where subsequent attribute estimations factor those previously estimated. For example, self-shadows estimated during the first stage, later prevent its baking into the personalized diffuse and specular albedos in the second stage. We show the efficacy of our approach in several real-world scenarios, where face attributes can be estimated even under extreme illumination conditions. Ablation studies, analyses and comparisons against several recent state-of-the-art methods show improved accuracy and versatility of our approach. With consistent face attributes reconstruction, our method leads to several style -- illumination, albedo, self-shadow -- edit and transfer applications, as discussed in the paper.

中文翻译：

---

通过可区分的光线追踪进行实用的面部重建

我们提出了一种基于可微分光线追踪的新颖人脸重建方法，其中从不受约束的单眼图像估计场景属性-3D几何形状，反射率（漫射，镜面和粗糙度），姿势，相机参数和场景照明。所提出的方法通过新颖的，参数化的虚拟照明平台对场景照明进行建模，结合可微分的光线跟踪，引入了从粗糙到精细的优化方法，用于面部重建。我们的方法不仅可以处理不受约束的照明和自阴影条件，还可以估计漫反射和镜面反射率。为了始终如一地并具有实用语义来估计人脸属性，两阶段优化策略系统地使用了参数属性的子集，其中，后续属性估计将先前估计的那些因素考虑在内。例如，在第一阶段估计的自阴影，随后在第二阶段阻止其烘焙为个性化的漫反射和镜面反射率。我们在几种实际场景中展示了我们的方法的有效性，在这些场景中，即使在极端光照条件下也可以估计人脸属性。消融研究，对几种最新技术的分析和比较表明，我们的方法具有更高的准确性和多功能性。通过一致的人脸属性重构，我们的方法可产生多种样式-照明，反照率，自阴影-编辑和传输应用程序，如本文所述。后来在第二阶段阻止其烘焙到个性化的漫反射和镜面反射率中。我们在几种实际场景中展示了我们的方法的有效性，在这些场景中，即使在极端光照条件下也可以估计人脸属性。消融研究，对几种最新技术的分析和比较表明，我们的方法具有更高的准确性和多功能性。通过一致的人脸属性重构，我们的方法可产生多种样式-照明，反照率，自阴影-编辑和传输应用程序，如本文所述。后来在第二阶段阻止其烘焙到个性化的漫反射和镜面反射率中。我们在几种实际场景中展示了我们的方法的有效性，在这些场景中，即使在极端光照条件下也可以估计人脸属性。消融研究，对几种最新技术的分析和比较表明，我们的方法具有更高的准确性和多功能性。通过一致的人脸属性重构，我们的方法可产生多种样式-照明，反照率，自阴影-编辑和传输应用程序，如本文所述。与几种最新技术的分析比较表明，我们的方法具有更高的准确性和多功能性。通过一致的人脸属性重构，我们的方法可产生多种样式-照明，反照率，自阴影-编辑和传输应用程序，如本文所述。与几种最新技术的分析比较表明，我们的方法具有更高的准确性和多功能性。通过一致的人脸属性重构，我们的方法可产生多种样式-照明，反照率，自阴影-编辑和传输应用程序，如本文所述。