当前位置:
X-MOL 学术
›
arXiv.cs.GR
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
De-rendering the World's Revolutionary Artefacts
arXiv - CS - Graphics Pub Date : 2021-04-08 , DOI: arxiv-2104.03954 Shangzhe Wu, Ameesh Makadia, Jiajun Wu, Noah Snavely, Richard Tucker, Angjoo Kanazawa
arXiv - CS - Graphics Pub Date : 2021-04-08 , DOI: arxiv-2104.03954 Shangzhe Wu, Ameesh Makadia, Jiajun Wu, Noah Snavely, Richard Tucker, Angjoo Kanazawa
Recent works have shown exciting results in unsupervised image de-rendering
-- learning to decompose 3D shape, appearance, and lighting from single-image
collections without explicit supervision. However, many of these assume
simplistic material and lighting models. We propose a method, termed RADAR,
that can recover environment illumination and surface materials from real
single-image collections, relying neither on explicit 3D supervision, nor on
multi-view or multi-light images. Specifically, we focus on rotationally
symmetric artefacts that exhibit challenging surface properties including
specular reflections, such as vases. We introduce a novel self-supervised
albedo discriminator, which allows the model to recover plausible albedo
without requiring any ground-truth during training. In conjunction with a shape
reconstruction module exploiting rotational symmetry, we present an end-to-end
learning framework that is able to de-render the world's revolutionary
artefacts. We conduct experiments on a real vase dataset and demonstrate
compelling decomposition results, allowing for applications including
free-viewpoint rendering and relighting.
中文翻译:
渲染世界革命文物
最近的工作在无监督的图像渲染中显示了令人兴奋的结果-在没有明确监督的情况下,学会从单个图像集合中分解3D形状,外观和照明。但是,其中许多假设材料和照明模型都很简单。我们提出了一种称为RADAR的方法,该方法可以不依赖于显式3D监视,也不依赖于多视图或多光照图像来从真实的单图像集合中恢复环境照明和表面材料。具体来说,我们专注于表现出具有挑战性的表面特性(包括镜面反射)的旋转对称文物,例如花瓶。我们介绍了一种新型的自我监督的反照率鉴别器,它使模型能够在训练过程中无需任何真实的情况下恢复合理的反照率。结合利用旋转对称性的形状重建模块,我们提出了一种端到端的学习框架,该框架能够渲染世界上的革命人工制品。我们在一个真实的花瓶数据集上进行实验,并展示出引人注目的分解结果,从而允许包括自由视点渲染和重新照明在内的应用程序。
更新日期:2021-04-09
中文翻译:
渲染世界革命文物
最近的工作在无监督的图像渲染中显示了令人兴奋的结果-在没有明确监督的情况下,学会从单个图像集合中分解3D形状,外观和照明。但是,其中许多假设材料和照明模型都很简单。我们提出了一种称为RADAR的方法,该方法可以不依赖于显式3D监视,也不依赖于多视图或多光照图像来从真实的单图像集合中恢复环境照明和表面材料。具体来说,我们专注于表现出具有挑战性的表面特性(包括镜面反射)的旋转对称文物,例如花瓶。我们介绍了一种新型的自我监督的反照率鉴别器,它使模型能够在训练过程中无需任何真实的情况下恢复合理的反照率。结合利用旋转对称性的形状重建模块,我们提出了一种端到端的学习框架,该框架能够渲染世界上的革命人工制品。我们在一个真实的花瓶数据集上进行实验,并展示出引人注目的分解结果,从而允许包括自由视点渲染和重新照明在内的应用程序。