This article proposes a zero-shot learning-based framework for light field depth estimation, which learns an end-to-end mapping solely from an input light field to the corresponding disparity map with neither extra training data nor supervision of groundtruth depth. The proposed method overcomes two major difficulties posed in existing learning-based methods and is thus much more feasible in practice. First, it saves the huge burden of obtaining groundtruth depth of a variety of scenes to serve as labels during training. Second, it avoids the severe domain shift effect when applied to light fields with drastically different content or captured under different camera configurations from the training data. On the other hand, compared with conventional non-learning-based methods, the proposed method better exploits the correlations in the 4D light field and generates much superior depth results. Moreover, we extend this zero-shot learning framework to depth estimation from light field videos. For the first time, we demonstrate that more accurate and robust depth can be estimated from light field videos by jointly exploiting the correlations across spatial, angular, and temporal dimensions. We conduct comprehensive experiments on both synthetic and real-world light field image datasets, as well as a self collected light field video dataset. Quantitative and qualitative results validate the superior performance of our method over the state-of-the-arts, especially for the challenging real-world scenes.

中文翻译：

---

使用卷积神经网络从光场进行零镜头深度估计

本文提出了一种基于零样本学习的光场深度估计框架，该框架仅学习从输入光场到相应视差图的端到端映射，既没有额外的训练数据，也没有对真实深度的监督。所提出的方法克服了现有基于学习的方法所带来的两个主要困难，因此在实践中更加可行。首先，它节省了在训练期间获取各种场景的真实深度作为标签的巨大负担。其次，当应用于内容完全不同的光场或在不同的相机配置下从训练数据中捕获时，它避免了严重的域偏移效应。另一方面，与传统的非基于学习的方法相比，所提出的方法更好地利用了 4D 光场中的相关性，并产生了更好的深度结果。此外，我们将此零样本学习框架扩展到光场视频的深度估计。我们第一次证明，通过联合利用空间、角度和时间维度的相关性，可以从光场视频中估计出更准确和稳健的深度。我们对合成和真实世界的光场图像数据集以及自收集的光场视频数据集进行了综合实验。定量和定性结果验证了我们的方法在最先进技术上的优越性能，尤其是对于具有挑战性的现实世界场景。我们将此零样本学习框架扩展到光场视频的深度估计。我们第一次证明，通过联合利用空间、角度和时间维度的相关性，可以从光场视频中估计出更准确和稳健的深度。我们对合成和真实世界的光场图像数据集以及自收集的光场视频数据集进行了综合实验。定量和定性结果验证了我们的方法在最先进技术上的优越性能，尤其是对于具有挑战性的现实世界场景。我们将这个零样本学习框架扩展到光场视频的深度估计。我们第一次证明，通过联合利用空间、角度和时间维度的相关性，可以从光场视频中估计出更准确和稳健的深度。我们对合成和真实世界的光场图像数据集以及自收集的光场视频数据集进行了综合实验。定量和定性结果验证了我们的方法在最先进技术上的优越性能，特别是对于具有挑战性的现实世界场景。我们对合成和真实世界的光场图像数据集以及自收集的光场视频数据集进行了综合实验。定量和定性结果验证了我们的方法在最先进技术上的优越性能，尤其是对于具有挑战性的现实世界场景。我们对合成和真实世界的光场图像数据集以及自收集的光场视频数据集进行了综合实验。定量和定性结果验证了我们的方法在最先进技术上的优越性能，尤其是对于具有挑战性的现实世界场景。