3D深度学习火了！NVIDIA NeurIPS论文：训练AI迅速将2D图像转换成3D模型

---

  新智元报道  

来源：venturebeat

编辑：向学

NVIDIA的研究团队开发出一个人工智能系统，它可以在不需要任何3D训练数据的情况下，预测2D图像的3D特征。该项研究成果会在NIPS（Neural Information Processing Systems）年会上公布；今年的NIPS年会有超过13000名与会者，是今年最大的人工智能研究会议。

这项工作由加拿大向量学院（Vector Institute）、多伦多大学（University of Toronto）、Nvidia Research、阿尔托大学（Aalto University）共同完成，相关研究的细节呈现在论文《Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer》中。

论文链接：https://nv-tlabs.github.io/DIB-R/files/diff_shader.pdf

Nvidia的人工智能总监和论文合著者Sanja Fidler说：“公司下一步可能会尝试将可微渲染框架（Differentiable Rendering Framework，DIB-R）扩展到更复杂的任务，比如为多个对象或整个场景渲染三维模型；这样的工作可以应用于游戏、AR/VR、机器人或目标跟踪系统中。”

Fidler还说：“关于三维深度学习目前很多公司已经做了一些工作，如Facebook AI Research与DeepMind也能将二维转化成三维AI，但DIB-R是第一个可以通过二维图像预测几个关键的三维特征（如对象的形状、三维几何、颜色和纹理）的神经或者深度学习架构之一。因此尽管之前有很多研究，但没有一个能真正同时预测所有这些关键属性的研究；它们不是专注于预测几何形状就是专注于预测颜色，而不是同时预测形状、颜色、纹理和光线；而我们的这项研究是真正完成了——不是完全完成，但却是对一个场景中的对象更加完整的理解。”

NeurIPS的一项相关工作是试图根据人们的声音来预测他们的“声之形”。

Fidler说：“我认为这是一个非常有趣的领域，我们没有在这篇特别的论文中解决这个问题；但就深度学习而言，这是另一个有趣的输入，当提供给神经结构后就可以得到非常好的三维信息；如今，我认为这绝对是有效的。”

DIB-R是在Nvidia今年发布Kaolin（Kaolin是Nvidia的三维深度学习库，拥有一系列的模型来帮助开发人员开始使用神经网络进行三维处理）之后发布的，Nvidia会在NeurIPS上公布五篇论文：《Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer》、《Joint-task Self-supervised Learning for Temporal Correspondence》、《Dancing to Music》、《Few-shot Video-to-Video Synthesis》、《Exact Gaussian Processes on a Million Data Points》。

参考资料：

https://venturebeat.com/2019/12/09/nvidia-trains-ai-to-transform-2d-images-into-3d-models/