Understanding 3D object structure from a single image is an important but challenging task in computer vision, mostly due to the lack of 3D object annotations to real images. Previous research tackled this problem by either searching for a 3D shape that best explains 2D annotations, or training purely on synthetic data with ground truth 3D information. In this work, we propose 3D INterpreter Networks (3D-INN), an end-to-end trainable framework that sequentially estimates 2D keypoint heatmaps and 3D object skeletons and poses. Our system learns from both 2D-annotated real images and synthetic 3D data. This is made possible mainly by two technical innovations. First, heatmaps of 2D keypoints serve as an intermediate representation to connect real and synthetic data. 3D-INN is trained on real images to estimate 2D keypoint heatmaps from an input image; it then predicts 3D object structure from heatmaps using knowledge learned from synthetic 3D shapes. By doing so, 3D-INN benefits from the variation and abundance of synthetic 3D objects, without suffering from the domain difference between real and synthesized images, often due to imperfect rendering. Second, we propose a Projection Layer, mapping estimated 3D structure back to 2D. During training, it ensures 3D-INN to predict 3D structure whose projection is consistent with the 2D annotations to real images. Experiments show that the proposed system performs well on both 2D keypoint estimation and 3D structure recovery. We also demonstrate that the recovered 3D information has wide vision applications, such as image retrieval.

中文翻译：

---

用于以查看者为中心的线框建模的 3D 解释器网络

从单个图像中理解 3D 对象结构是计算机视觉中一项重要但具有挑战性的任务，主要是由于缺乏真实图像的 3D 对象注释。之前的研究通过搜索最能解释 2D 注释的 3D 形状，或仅在具有地面实况 3D 信息的合成数据上进行训练来解决这个问题。在这项工作中，我们提出了 3D 解释器网络 (3D-INN)，这是一种端到端的可训练框架，可依次估计 2D 关键点热图和 3D 对象骨架和姿势。我们的系统从 2D 注释的真实图像和合成 3D 数据中学习。这主要得益于两项技术创新。首先，二维关键点的热图作为连接真实数据和合成数据的中间表示。3D-INN 在真实图像上进行训练，以从输入图像中估计 2D 关键点热图；然后，它使用从合成 3D 形状中学到的知识从热图中预测 3D 对象结构。通过这样做，3D-INN 受益于合成 3D 对象的变化和丰富，而不会受到真实和合成图像之间的域差异的影响，这通常是由于不完美的渲染。其次，我们提出了一个投影层，将估计的 3D 结构映射回 2D。在训练过程中，它确保 3D-INN 预测 3D 结构，其投影与真实图像的 2D 注释一致。实验表明，所提出的系统在 2D 关键点估计和 3D 结构恢复方面都表现良好。我们还证明了恢复的 3D 信息具有广泛的视觉应用，例如图像检索。然后，它使用从合成 3D 形状中学到的知识从热图中预测 3D 对象结构。通过这样做，3D-INN 受益于合成 3D 对象的变化和丰富，而不会受到真实和合成图像之间的域差异的影响，这通常是由于不完美的渲染。其次，我们提出了一个投影层，将估计的 3D 结构映射回 2D。在训练过程中，它确保 3D-INN 预测 3D 结构，其投影与真实图像的 2D 注释一致。实验表明，所提出的系统在 2D 关键点估计和 3D 结构恢复方面都表现良好。我们还证明了恢复的 3D 信息具有广泛的视觉应用，例如图像检索。然后，它使用从合成 3D 形状中学到的知识从热图中预测 3D 对象结构。通过这样做，3D-INN 受益于合成 3D 对象的变化和丰富，而不会受到真实和合成图像之间的域差异的影响，这通常是由于不完美的渲染。其次，我们提出了一个投影层，将估计的 3D 结构映射回 2D。在训练过程中，它确保 3D-INN 预测 3D 结构，其投影与真实图像的 2D 注释一致。实验表明，所提出的系统在 2D 关键点估计和 3D 结构恢复方面都表现良好。我们还证明了恢复的 3D 信息具有广泛的视觉应用，例如图像检索。3D-INN 受益于合成 3D 对象的变化和丰富，而不会受到真实图像和合成图像之间的域差异的影响，这通常是由于不完美的渲染。其次，我们提出了一个投影层，将估计的 3D 结构映射回 2D。在训练过程中，它确保 3D-INN 预测 3D 结构，其投影与真实图像的 2D 注释一致。实验表明，所提出的系统在 2D 关键点估计和 3D 结构恢复方面都表现良好。我们还证明了恢复的 3D 信息具有广泛的视觉应用，例如图像检索。3D-INN 受益于合成 3D 对象的变化和丰富，而不会受到真实图像和合成图像之间的域差异的影响，这通常是由于不完美的渲染。其次，我们提出了一个投影层，将估计的 3D 结构映射回 2D。在训练过程中，它确保 3D-INN 预测 3D 结构，其投影与真实图像的 2D 注释一致。实验表明，所提出的系统在 2D 关键点估计和 3D 结构恢复方面都表现良好。我们还证明了恢复的 3D 信息具有广泛的视觉应用，例如图像检索。在训练过程中，它确保 3D-INN 预测 3D 结构，其投影与真实图像的 2D 注释一致。实验表明，所提出的系统在 2D 关键点估计和 3D 结构恢复方面都表现良好。我们还证明了恢复的 3D 信息具有广泛的视觉应用，例如图像检索。在训练过程中，它确保 3D-INN 预测 3D 结构，其投影与真实图像的 2D 注释一致。实验表明，所提出的系统在 2D 关键点估计和 3D 结构恢复方面都表现良好。我们还证明了恢复的 3D 信息具有广泛的视觉应用，例如图像检索。