We introduce a neural relighting algorithm for captured indoors scenes, that allows interactive free-viewpoint navigation. Our method allows illumination to be changed synthetically, while coherently rendering cast shadows and complex glossy materials. We start with multiple images of the scene and a 3D mesh obtained by multi-view stereo (MVS) reconstruction. We assume that lighting is well-explained as the sum of a view-independent diffuse component and a view-dependent glossy term concentrated around the mirror reflection direction. We design a convolutional network around input feature maps that facilitate learning of an implicit representation of scene materials and illumination, enabling both relighting and free-viewpoint navigation. We generate these input maps by exploiting the best elements of both image-based and physically-based rendering. We sample the input views to estimate diffuse scene irradiance, and compute the new illumination caused by user-specified light sources using path tracing. To facilitate the network's understanding of materials and synthesize plausible glossy reflections, we reproject the views and compute mirror images. We train the network on a synthetic dataset where each scene is also reconstructed with MVS. We show results of our algorithm relighting real indoor scenes and performing free-viewpoint navigation with complex and realistic glossy reflections, which so far remained out of reach for view-synthesis techniques.

中文翻译：

---

多视角立体的自由视角室内神经重新照明

我们为捕获的室内场景引入了一种神经重新照明算法，该算法允许交互式自由视点导航。我们的方法允许综合改变照明，同时连贯地渲染投射阴影和复杂的光泽材料。我们从场景的多幅图像和通过多视图立体 (MVS) 重建获得的 3D 网格开始。我们假设照明可以很好地解释为与视图无关的漫反射分量和集中在镜面反射方向周围的与视图相关的光泽项的总和。我们围绕输入特征图设计了一个卷积网络，以促进场景材料和照明的隐式表示的学习，从而实现重新照明和自由视点导航。我们通过利用基于图像和基于物理的渲染的最佳元素来生成这些输入地图。我们对输入视图进行采样以估计漫射场景辐照度，并使用路径跟踪计算由用户指定的光源引起的新照明。为了促进网络对材料的理解并合成合理的光泽反射，我们重新投影视图并计算镜像。我们在合成数据集上训练网络，其中每个场景也用 MVS 重建。我们展示了我们的算法重新照亮真实室内场景的结果，并使用复杂而逼真的光泽反射执行自由视点导航，到目前为止，视图合成技术仍然无法实现。并使用路径跟踪计算由用户指定的光源引起的新照明。为了促进网络对材料的理解并合成合理的光泽反射，我们重新投影视图并计算镜像。我们在合成数据集上训练网络，其中每个场景也用 MVS 重建。我们展示了我们的算法重新照亮真实室内场景的结果，并使用复杂而逼真的光泽反射执行自由视点导航，到目前为止，视图合成技术仍然无法实现。并使用路径跟踪计算由用户指定的光源引起的新照明。为了促进网络对材料的理解并合成合理的光泽反射，我们重新投影视图并计算镜像。我们在合成数据集上训练网络，其中每个场景也用 MVS 重建。我们展示了我们的算法重新照亮真实室内场景的结果，并使用复杂而逼真的光泽反射执行自由视点导航，到目前为止，视图合成技术仍然无法实现。