Generative modeling of 3D scenes is a crucial topic for aiding mobile robots to improve unreliable observations. However, despite the rapid progress in the natural image domain, building generative models is still challenging for 3D data, such as point clouds. Most existing studies on point clouds have focused on small and uniform-density data. In contrast, 3D LiDAR point clouds widely used in mobile robots are non-trivial to be handled because of the large number of points and varying-density. To circumvent this issue, 3D-to-2D projected representation such as a cylindrical depth map has been studied in existing LiDAR processing tasks but susceptible to discrete lossy pixels caused by failures of laser reflection. This paper proposes a novel framework based on generative adversarial networks to synthesize realistic LiDAR data as an improved 2D representation. Our generative architectures are designed to learn a distribution of inverse depth maps and simultaneously simulate the lossy pixels, which enables us to decompose an underlying smooth geometry and the corresponding uncertainty of laser reflection. To simulate the lossy pixels, we propose a differentiable framework to learn to produce sample-dependent binary masks using the Gumbel-Sigmoid reparametrization trick. We demonstrate the effectiveness of our approach in synthesis and reconstruction tasks on two LiDAR datasets. We further showcase potential applications by recovering various corruptions in LiDAR data.

中文翻译：

---

学习为LiDAR扫描合成丢点

3D场景的生成建模是帮助移动机器人改善不可靠观察结果的关键主题。但是，尽管自然图像领域取得了快速进展，但是对于3D数据（例如点云）而言，建立生成模型仍然具有挑战性。现有的大多数关于点云的研究都集中在小的均匀密度数据上。相反，由于大量的点和变化的密度，在移动机器人中广泛使用的3D LiDAR点云并不容易处理。为了解决这个问题，已经在现有的LiDAR处理任务中研究了3D到2D投影表示形式，例如圆柱深度图，但是容易受到激光反射故障导致的离散有损像素的影响。本文提出了一种基于生成对抗网络的新颖框架，以将现实的LiDAR数据合成为一种改进的2D表示形式。我们的生成架构旨在学习逆深度图的分布并同时模拟有损像素，这使我们能够分解基本的平滑几何形状和相应的激光反射不确定性。为了模拟有损像素，我们提出了一个可微的框架，以学习使用Gumbel-Sigmoid重新参数化技巧来生成依赖样本的二进制掩码。我们在两个LiDAR数据集上证明了我们的方法在合成和重建任务中的有效性。我们通过恢复LiDAR数据中的各种损坏来进一步展示潜在的应用程序。我们的生成架构旨在学习逆深度图的分布并同时模拟有损像素，这使我们能够分解基本的平滑几何形状和相应的激光反射不确定性。为了模拟有损像素，我们提出了一个可微的框架，以学习使用Gumbel-Sigmoid重新参数化技巧来生成依赖样本的二进制掩码。我们在两个LiDAR数据集上证明了我们的方法在合成和重建任务中的有效性。我们通过恢复LiDAR数据中的各种损坏来进一步展示潜在的应用程序。我们的生成架构旨在学习逆深度图的分布并同时模拟有损像素，这使我们能够分解基本的平滑几何形状和相应的激光反射不确定性。为了模拟有损像素，我们提出了一个可微的框架，以学习使用Gumbel-Sigmoid重新参数化技巧来生成依赖样本的二进制掩码。我们在两个LiDAR数据集上证明了我们的方法在合成和重建任务中的有效性。我们通过恢复LiDAR数据中的各种损坏来进一步展示潜在的应用程序。我们提出了一个可微的框架，以学习使用Gumbel-Sigmoid重新参数化技巧来产生与样本相关的二进制掩码。我们在两个LiDAR数据集上证明了我们的方法在合成和重建任务中的有效性。我们通过恢复LiDAR数据中的各种损坏来进一步展示潜在的应用程序。我们提出了一个可微的框架，以学习使用Gumbel-Sigmoid重新参数化技巧来产生与样本相关的二进制掩码。我们在两个LiDAR数据集上证明了我们的方法在合成和重建任务中的有效性。我们通过恢复LiDAR数据中的各种损坏来进一步展示潜在的应用程序。