This paper addresses the guided depth completion task in which the goal is to predict a dense depth map given a guidance RGB image and sparse depth measurements. Recent advances on this problem nurture hopes that one day we can acquire accurate and dense depth at a very low cost. A major challenge of guided depth completion is to effectively make use of extremely sparse measurements, e.g., measurements covering less than 1% of the image pixels. In this paper, we propose a fully differentiable model that avoids convolving on sparse tensors by jointly learning depth interpolation and refinement. More specifically, we propose a differentiable kernel regression layer that interpolates the sparse depth measurements via learned kernels. We further refine the interpolated depth map using a residual depth refinement layer which leads to improved performance compared to learning absolute depth prediction using a vanilla network. We provide experimental evidence that our differentiable kernel regression layer not only enables end-to-end training from very sparse measurements using standard convolutional network architectures, but also leads to better depth interpolation results compared to existing heuristically motivated methods. We demonstrate that our method outperforms many state-of-the-art guided depth completion techniques on both NYUv2 and KITTI. We further show the generalization ability of our method with respect to the density and spatial statistics of the sparse depth measurements.

中文翻译：

---

学习指导深度完成的转向内核

本文介绍了引导式深度完成任务，该任务的目标是在给出引导RGB图像和稀疏深度测量的情况下预测密集的深度图。关于该问题的最新进展希望，有一天我们可以以非常低的成本获得准确而密集的深度。引导深度完成的主要挑战是有效利用极其稀疏的测量，例如，覆盖少于1％图像像素的测量。在本文中，我们提出了一个完全可微的模型，该模型可通过共同学习深度插值和细化来避免对稀疏张量进行卷积。更具体地说，我们提出了一个可微分的内核回归层，该层通过学习的内核对稀疏深度测量值进行插值。我们使用残差深度细化层进一步细化了插值深度图，与使用香草网络学习绝对深度预测相比，它可以提高性能。我们提供的实验证据表明，可区分的内核回归层不仅可以使用标准卷积网络体系结构从非常稀疏的测量中进行端到端训练，而且与现有的启发式方法相比，还可以获得更好的深度插值结果。我们证明了我们的方法在NYUv2和KITTI上均优于许多先进的制导深度完成技术。我们进一步展示了我们的方法相对于稀疏深度测量的密度和空间统计的概括能力。我们提供的实验证据表明，可区分的内核回归层不仅可以使用标准卷积网络体系结构从非常稀疏的测量中进行端到端训练，而且与现有的启发式方法相比，还可以获得更好的深度插值结果。我们证明了我们的方法在NYUv2和KITTI上均优于许多先进的制导深度完成技术。我们进一步展示了我们的方法相对于稀疏深度测量的密度和空间统计的概括能力。我们提供的实验证据表明，我们可区分的内核回归层不仅可以使用标准卷积网络体系结构从非常稀疏的测量中进行端到端训练，而且与现有的启发式方法相比，还可以提供更好的深度插值结果。我们证明了我们的方法在NYUv2和KITTI上均优于许多先进的制导深度完成技术。我们进一步展示了我们的方法相对于稀疏深度测量的密度和空间统计的概括能力。但与现有的启发式方法相比，它还能带来更好的深度插值结果。我们证明了我们的方法在NYUv2和KITTI上均优于许多先进的制导深度完成技术。我们进一步展示了我们的方法相对于稀疏深度测量的密度和空间统计的概括能力。但与现有的启发式方法相比，它还能带来更好的深度插值结果。我们证明了我们的方法在NYUv2和KITTI上均优于许多先进的制导深度完成技术。我们进一步展示了我们的方法相对于稀疏深度测量的密度和空间统计的概括能力。