3D卷积GAN飞起！微软“可缩放”新框架只需2D数据即可生成逼真3D模型

---

  新智元报道  

来源：VB

编辑：元子

将2D图像转换成3D图像是一件非常困难的事情，包括Facebook，Nvidia的AI研究实验室，以及Threedy.ai之类的初创公司都在不断的在此领域进行探索。

最在一份新的预印本论文中，来自Microsoft Research的团队详细介绍了一个框架。研究人员称，该框架是首个针对2D数据的3D模型的“可缩放”训练技术。

据悉，仅使用2D图像进行训练，该框架可以始终学习比现有模型更好的形状，这对于缺乏从头开始创建3D形状的视频游戏开发人员，电子商务企业和动画工作室可能是一个福音。

与以前的工作相反，研究人员试图利用功能齐全的工业渲染器，例如显示数据生成图像的软件。为此，他们训练了3D形状的生成模型，以便生成与2D数据集的分布相匹配的图像。

生成器模型采用随机输入向量（代表数据集特征的值）并生成3D对象的连续体素表示（3D空间中网格上的值）。然后，它将体素馈送到不可微分的渲染过程，该过程将阈值设置为离散值，然后再使用现成的渲染器（在OpenGL之上构建的Pyrender）进行渲染。

一种新颖的代理神经渲染器（proxy neural renderer）直接渲染由3D生成模型生成的连续体素网格。正如研究人员所解释的那样，在给定3D网格输入的情况下，它经过训练可以匹配现成渲染器的渲染输出。

在实验中，该团队为生成器采用了3D卷积GAN架构。从3D模型生成的一系列合成数据集和一个现实生活的数据集，他们合成了来自不同对象类别的图像，并在整个训练过程中从不同的角度对其进行了渲染。

研究人员说，他们的方法利用了图像提供的照明和阴影提示，使其能够从每个训练样本中提取更多有意义的信息，并在这些设置下产生更好的结果。 

此外，在对自然图像的数据集进行训练后，它可以生成逼真的样本。该论文的合著者写道：“我们利用表面之间的曝光差异成功地检测出凹形物体的内部结构，从而使其能够准确地捕获凹面和中空空间。”

参考链接：

https://venturebeat.com/2020/03/05/microsofts-ai-generates-3d-objects-from-2d-images/