We present a suite of techniques for jointly optimizing triangle meshes and shading models to match the appearance of reference scenes. This capability has a number of uses, including appearance-preserving simplification of extremely complex assets, conversion between rendering systems, and even conversion between geometric scene representations. We follow and extend the classic analysis-by-synthesis family of techniques: enabled by a highly efficient differentiable renderer and modern nonlinear optimization algorithms, our results are driven to minimize the image-space difference to the target scene when rendered in similar viewing and lighting conditions. As the only signals driving the optimization are differences in rendered images, the approach is highly general and versatile: it easily supports many different forward rendering models such as normal mapping, spatially-varying BRDFs, displacement mapping, etc. Supervision through images only is also key to the ability to easily convert between rendering systems and scene representations. We output triangle meshes with textured materials to ensure that the models render efficiently on modern graphics hardware and benefit from, e.g., hardware-accelerated rasterization, ray tracing, and filtered texture lookups. Our system is integrated in a small Python code base, and can be applied at high resolutions and on large models. We describe several use cases, including mesh decimation, level of detail generation, seamless mesh filtering and approximations of aggregate geometry.

中文翻译：

---

外观驱动的自动3D模型简化

我们提出了一套用于共同优化三角形网格和着色模型以匹配参考场景外观的技术。此功能有多种用途，包括极其复杂的资产的外观保留简化，渲染系统之间的转换，甚至几何场景表示之间的转换。我们遵循并扩展了经典的综合分析技术系列：通过高效的可微分渲染器和现代非线性优化算法，我们的结果能够在将相似场景和光照下渲染时，将与目标场景的图像空间差异最小化使适应。由于驱动优化的唯一信号是渲染图像的差异，因此该方法具有高度通用性和通用性：它轻松支持许多不同的前向渲染模型，例如法线贴图，空间变化的BRDF，位移贴图等。仅通过图像进行监督也是轻松在渲染系统和场景表示之间进行转换的能力的关键。我们输出带有纹理材料的三角形网格，以确保模型在现代图形硬件上有效渲染，并受益于例如硬件加速的光栅化，光线跟踪和过滤后的纹理查找。我们的系统集成在一个小的Python代码库中，并且可以在高分辨率和大型模型上应用。我们描述了几种用例，包括网格抽取，详细程度生成，无缝网格过滤和聚合几何体的近似。仅通过图像进行监督也是轻松在渲染系统和场景表示之间进行转换的能力的关键。我们输出带有纹理材料的三角形网格，以确保模型在现代图形硬件上有效渲染，并受益于例如硬件加速的光栅化，光线跟踪和过滤后的纹理查找。我们的系统集成在一个小的Python代码库中，并且可以在高分辨率和大型模型上应用。我们描述了几种用例，包括网格抽取，详细程度生成，无缝网格过滤和聚合几何体的近似。仅通过图像进行监督也是轻松在渲染系统和场景表示之间进行转换的能力的关键。我们输出带有纹理材料的三角形网格，以确保模型在现代图形硬件上有效渲染，并受益于例如硬件加速的光栅化，光线跟踪和过滤后的纹理查找。我们的系统集成在一个小的Python代码库中，并且可以在高分辨率和大型模型上应用。我们描述了几种用例，包括网格抽取，详细程度生成，无缝网格过滤和聚合几何体的近似。例如，硬件加速的光栅化，光线跟踪和过滤后的纹理查找。我们的系统集成在一个小的Python代码库中，并且可以在高分辨率和大型模型上应用。我们描述了几种用例，包括网格抽取，详细程度生成，无缝网格过滤和聚合几何体的近似。例如，硬件加速的光栅化，光线跟踪和过滤后的纹理查找。我们的系统集成在一个小的Python代码库中，并且可以在高分辨率和大型模型上应用。我们描述了几种用例，包括网格抽取，详细程度生成，无缝网格过滤和聚合几何体的近似。