当前位置:
X-MOL 学术
›
arXiv.cs.GR
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
Rig-space Neural Rendering
arXiv - CS - Graphics Pub Date : 2020-03-22 , DOI: arxiv-2003.09820 Dominik Borer, Lu Yuhang, Laura Wuelfroth, Jakob Buhmann, Martin Guay
arXiv - CS - Graphics Pub Date : 2020-03-22 , DOI: arxiv-2003.09820 Dominik Borer, Lu Yuhang, Laura Wuelfroth, Jakob Buhmann, Martin Guay
Movie productions use high resolution 3d characters with complex proprietary
rigs to create the highest quality images possible for large displays.
Unfortunately, these 3d assets are typically not compatible with real-time
graphics engines used for games, mixed reality and real-time pre-visualization.
Consequently, the 3d characters need to be re-modeled and re-rigged for these
new applications, requiring weeks of work and artistic approval. Our solution
to this problem is to learn a compact image-based rendering of the original 3d
character, conditioned directly on the rig parameters. Our idea is to render
the character in many different poses and views, and to train a deep neural
network to render high resolution images, from the rig parameters directly.
Many neural rendering techniques have been proposed to render from 2d
skeletons, or geometry and UV maps. However these require manual work, and to
do not remain compatible with the animator workflow of manipulating rig
widgets, as well as the real-time game engine pipeline of interpolating rig
parameters. We extend our architecture to support dynamic re-lighting and
composition with other 3d objects in the scene. We designed a network that
efficiently generates multiple scene feature maps such as normals, depth,
albedo and mask, which are composed with other scene objects to form the final
image.
中文翻译:
装备空间神经渲染
电影制作使用高分辨率 3d 角色和复杂的专有装备来为大型显示器创建最高质量的图像。不幸的是,这些 3D 资产通常与用于游戏、混合现实和实时预可视化的实时图形引擎不兼容。因此,需要为这些新应用程序重新建模和重新装配 3d 角色,这需要数周的工作和艺术批准。我们对这个问题的解决方案是学习原始 3d 角色的基于图像的紧凑渲染,直接以装备参数为条件。我们的想法是在许多不同的姿势和视图中渲染角色,并训练一个深度神经网络来直接从装备参数渲染高分辨率图像。已经提出了许多神经渲染技术来渲染二维骨架,或几何和 UV 贴图。然而,这些需要手动工作,并且不与操纵装备小部件的动画师工作流程以及插入装备参数的实时游戏引擎管道保持兼容。我们扩展了我们的架构以支持动态重新照明和与场景中其他 3d 对象的合成。我们设计了一个网络,可以有效地生成多个场景特征图,例如法线、深度、反照率和蒙版,这些特征图与其他场景对象组合形成最终图像。
更新日期:2020-03-24
中文翻译:
装备空间神经渲染
电影制作使用高分辨率 3d 角色和复杂的专有装备来为大型显示器创建最高质量的图像。不幸的是,这些 3D 资产通常与用于游戏、混合现实和实时预可视化的实时图形引擎不兼容。因此,需要为这些新应用程序重新建模和重新装配 3d 角色,这需要数周的工作和艺术批准。我们对这个问题的解决方案是学习原始 3d 角色的基于图像的紧凑渲染,直接以装备参数为条件。我们的想法是在许多不同的姿势和视图中渲染角色,并训练一个深度神经网络来直接从装备参数渲染高分辨率图像。已经提出了许多神经渲染技术来渲染二维骨架,或几何和 UV 贴图。然而,这些需要手动工作,并且不与操纵装备小部件的动画师工作流程以及插入装备参数的实时游戏引擎管道保持兼容。我们扩展了我们的架构以支持动态重新照明和与场景中其他 3d 对象的合成。我们设计了一个网络,可以有效地生成多个场景特征图,例如法线、深度、反照率和蒙版,这些特征图与其他场景对象组合形成最终图像。