Abstract Salient object detection (SOD) has gained tremendous attention in the field of computer vision. Multi-modal SOD based on the complementary information from RGB images and depth maps has shown remarkable success, making RGB-D saliency detection an active research topic. In this paper, we propose a novel multi-modal enhancement and fusion network (EF-Net) for effective RGB-D saliency detection. Specifically, we first utilize a color hint map module with RGB images to predict a hint map, which encodes the coarse information of salient objects. The resulting hint map is then utilized to enhance the depth map with our depth enhancement module, which suppresses the noise and sharpens the object boundary. Finally, we propose an effective layer-wise aggregation module to fuse the features extracted from the enhanced depth maps and RGB images for the accurate detection of salient objects. Our EF-Net utilizes an enhancement-and-fusion framework for saliency detection, which makes full use of the information from RGB images and depth maps. In addition, our depth enhancement module effectively resolves the low-quality issue of depth maps, which boosts the saliency detection performance remarkably. Extensive experiments on five widely-used benchmark datasets demonstrate that our method outperforms 12 state-of-the-art RGB-D saliency detection approaches in terms of five key evaluation metrics.

中文翻译：

---

EF-Net：一种用于 RGB-D 显着性检测的新型增强和融合网络

摘要 显着目标检测（SOD）在计算机视觉领域得到了极大的关注。基于 RGB 图像和深度图的补充信息的多模态 SOD 取得了显着的成功，使得 RGB-D 显着性检测成为一个活跃的研究课题。在本文中，我们提出了一种新颖的多模态增强和融合网络（EF-Net），用于有效的 RGB-D 显着性检测。具体来说，我们首先利用带有 RGB 图像的颜色提示图模块来预测提示图，该提示图对显着对象的粗略信息进行编码。然后使用生成的提示图通过我们的深度增强模块来增强深度图，从而抑制噪声并锐化对象边界。最后，我们提出了一个有效的逐层聚合模块来融合从增强深度图和 RGB 图像中提取的特征，以准确检测显着对象。我们的 EF-Net 利用增强和融合框架进行显着性检测，充分利用来自 RGB 图像和深度图的信息。此外，我们的深度增强模块有效地解决了深度图的低质量问题，显着提高了显着性检测性能。在五个广泛使用的基准数据集上进行的大量实验表明，我们的方法在五个关键评估指标方面优于 12 种最先进的 RGB-D 显着性检测方法。它充分利用了来自 RGB 图像和深度图的信息。此外，我们的深度增强模块有效地解决了深度图的低质量问题，显着提高了显着性检测性能。在五个广泛使用的基准数据集上进行的大量实验表明，我们的方法在五个关键评估指标方面优于 12 种最先进的 RGB-D 显着性检测方法。它充分利用了来自 RGB 图像和深度图的信息。此外，我们的深度增强模块有效地解决了深度图的低质量问题，显着提高了显着性检测性能。在五个广泛使用的基准数据集上进行的大量实验表明，我们的方法在五个关键评估指标方面优于 12 种最先进的 RGB-D 显着性检测方法。