Being able to predict the salient object is of fundamental importance in image processing and computer vision. With numerous approaches proposed for automatic image and video salient object detection, much less work has been dedicated to detecting and segmenting salient objects from light fields. In this paper, based on the intrinsic characteristics of light fields, we carefully explore the complementary coherence among multiple cues including spatial, edge and depth information, and elaborately design a multi-task collaborative network for light field salient object detection. More specifically, the correlation mechanisms among edge detection, depth inference and salient object detection are carefully investigated to facilitate the representative saliency features. We first model the coherence among low-level features and heuristic semantic priors, as well as the edge information. Subsequently, the depth-oriented saliency features are derived from the geometry of light fields, in which the 3D convolution operation is leveraged with powerful representation capability to model the disparity correlations among multiple viewpoint images. Finally, a feature-enhanced salient object generator is developed to integrate these complementary saliency features, leading to the final salient object predictions for light fields. Quantitative and qualitative experiments demonstrate the superiority of our proposed model against the state-of-the-art methods over the public light field salient object detection datasets.

中文翻译：

---

用于光场显着目标检测的多任务协作网络

能够预测显着对象在图像处理和计算机视觉中至关重要。随着许多用于自动图像和视频显着对象检测的方法被提出，致力于从光场中检测和分割显着对象的工作要少得多。在本文中，基于光场的内在特性，我们仔细探索了包括空间、边缘和深度信息在内的多个线索之间的互补相干性，并精心设计了一个用于光场显着目标检测的多任务协同网络。更具体地说，仔细研究了边缘检测、深度推理和显着对象检测之间的相关机制，以促进具有代表性的显着特征。我们首先对低级特征和启发式语义先验以及边缘信息之间的一致性进行建模。随后，从光场的几何结构中导出面向深度的显着特征，其中利用 3D 卷积运算和强大的表示能力来模拟多视点图像之间的视差相关性。最后，开发了一个特征增强的显着对象生成器来集成这些互补的显着性特征，从而对光场进行最终的显着对象预测。定量和定性实验证明了我们提出的模型相对于公共光场显着物体检测数据集的最先进方法的优越性。面向深度的显着特征源自光场的几何形状，其中利用 3D 卷积运算和强大的表示能力来模拟多视点图像之间的视差相关性。最后，开发了一个特征增强的显着对象生成器来集成这些互补的显着性特征，从而对光场进行最终的显着对象预测。定量和定性实验证明了我们提出的模型相对于公共光场显着物体检测数据集的最先进方法的优越性。面向深度的显着特征源自光场的几何形状，其中利用 3D 卷积运算和强大的表示能力来模拟多视点图像之间的视差相关性。最后，开发了一个特征增强的显着对象生成器来集成这些互补的显着性特征，从而对光场进行最终的显着对象预测。定量和定性实验证明了我们提出的模型相对于公共光场显着物体检测数据集的最先进方法的优越性。开发了一个特征增强的显着对象生成器来集成这些互补的显着性特征，从而对光场进行最终的显着对象预测。定量和定性实验证明了我们提出的模型相对于公共光场显着物体检测数据集的最先进方法的优越性。开发了一个特征增强的显着对象生成器来集成这些互补的显着性特征，从而对光场进行最终的显着对象预测。定量和定性实验证明了我们提出的模型相对于公共光场显着物体检测数据集的最先进方法的优越性。