Superpixel segmentation of 2D images has been widely used in many computer vision tasks. Previous algorithms model the color, position, or higher spectral information for segmenting a 2D image. However, limited to the Gaussian imaging principle in a traditional camera, where each pixel is formed by summing lots of light rays from different angles, there is not a thorough segmentation solution to eliminate the ambiguity in defocus and occlusion boundary areas. In this paper, we consider the essential element of image pixel, i.e., rays in light space, and propose light field superpixel (LFSP) to eliminate the ambiguity. The LFSP is first defined mathematically and then two evaluation metrics, named LFSP self-similarity and effective label ratio, are proposed to evaluate the refocus-invariant and full-sliced properties of segmentation. By building a clique system containing 80 neighbors in light field, a robust refocus-invariant LFSP segmentation algorithm is developed. Experimental results on both synthetic and real light field datasets demonstrate the advantages over the current state of the art in terms of traditional evaluation metrics. Additionally, the LFSP self-similarity evaluations under different light field refocus levels show the refocus-invariance of the proposed algorithm. The full-sliced property of the proposed LFSP algorithm is verified by comparing it with the classical supervoxel algorithms. Finally, an LFSP-based application is demonstrated to show the effectiveness of LFSP in light field editing.

中文翻译：

---

4D光场超像素和分割。

2D图像的超像素分割已广泛用于许多计算机视觉任务中。以前的算法对颜色，位置或更高的光谱信息进行建模，以分割2D图像。然而，限于传统照相机中的高斯成像原理，在该传统照相机中，每个像素是通过将来自不同角度的大量光线相加而形成的，因此，尚没有一种彻底的分割解决方案来消除散焦和遮挡边界区域中的歧义。在本文中，我们考虑了图像像素的基本元素，即光空间中的光线，并提出了光场超像素（LFSP）来消除歧义。首先对LFSP进行数学定义，然后提出两个评估指标，分别称为LFSP自相似性和有效标签比率，以评估分割的重聚焦不变性和全切片特性。通过建立一个在光场中包含80个邻居的团组系统，开发了一种鲁棒的重聚焦不变LFSP分割算法。在合成光场数据集和真实光场数据集上的实验结果证明，相对于传统评估指标而言，其优于当前技术水平。另外，在不同光场重聚焦水平下的LFSP自相似性评估显示了所提出算法的重聚焦不变性。通过将其与经典的超体素算法进行比较，验证了所提出的LFSP算法的完整性质。最后，演示了基于LFSP的应用程序，以展示LFSP在光场编辑中的有效性。在合成光场数据集和实际光场数据集上的实验结果证明，相对于传统评估指标，该技术具有优于当前技术水平的优势。另外，在不同光场重聚焦水平下的LFSP自相似性评估显示了所提出算法的重聚焦不变性。通过将其与经典的超体素算法进行比较，验证了所提出的LFSP算法的完整性质。最后，演示了基于LFSP的应用程序，以展示LFSP在光场编辑中的有效性。在合成光场数据集和真实光场数据集上的实验结果证明，相对于传统评估指标而言，其优于当前技术水平。另外，在不同光场重聚焦水平下的LFSP自相似性评估显示了所提出算法的重聚焦不变性。通过将其与经典的超体素算法进行比较，验证了所提出的LFSP算法的完整性质。最后，演示了基于LFSP的应用程序，以展示LFSP在光场编辑中的有效性。通过将其与经典的超体素算法进行比较，验证了所提出的LFSP算法的完整性质。最后，演示了基于LFSP的应用程序，以展示LFSP在光场编辑中的有效性。通过将其与经典的超体素算法进行比较，验证了所提出的LFSP算法的完整性质。最后，演示了基于LFSP的应用程序，以展示LFSP在光场编辑中的有效性。