We present an effective method to progressively integrate and refine the cross-modality complementarities for RGB-D salient object detection (SOD). The proposed network mainly solves two challenging issues: 1) how to effectively integrate the complementary information from RGB image and its corresponding depth map, and 2) how to adaptively select more saliency-related features. First, we propose a cross-modality feature modulation (cmFM) module to enhance feature representations by taking the depth features as prior, which models the complementary relations of RGB-D data. Second, we propose an adaptive feature selection (AFS) module to select saliency-related features and suppress the inferior ones. The AFS module exploits multi-modality spatial feature fusion with the self-modality and cross-modality interdependencies of channel features are considered. Third, we employ a saliency-guided position-edge attention (sg-PEA) module to encourage our network to focus more on saliency-related regions. The above modules as a whole, called cmMS block, facilitates the refinement of saliency features in a coarse-to-fine fashion. Coupled with a bottom-up inference, the refined saliency features enable accurate and edge-preserving SOD. Extensive experiments demonstrate that our network outperforms state-of-the-art saliency detectors on six popular RGB-D SOD benchmarks.

中文翻译：

---

具有跨模态调制和选择的 RGB-D 显着对象检测

我们提出了一种有效的方法来逐步整合和完善 RGB-D 显着目标检测 (SOD) 的跨模态互补性。所提出的网络主要解决两个具有挑战性的问题：1）如何有效地整合来自 RGB 图像及其相应深度图的补充信息，以及 2）如何自适应地选择更多与显着性相关的特征。首先，我们提出了一个跨模态特征调制（cmFM）模块，通过将深度特征作为先验来增强特征表示，该模块对RGB-D数据的互补关系进行建模。其次，我们提出了一个自适应特征选择（AFS）模块来选择与显着性相关的特征并抑制劣质特征。AFS 模块利用多模态空间特征融合，考虑了通道特征的自模态和跨模态相互依赖性。第三，我们采用显着性引导的位置边缘注意（sg-PEA）模块来鼓励我们的网络更多地关注与显着性相关的区域。上述模块作为一个整体，称为 cmMS 块，以从粗到细的方式促进显着特征的细化。再加上自下而上的推理，精炼的显着特征可以实现准确且边缘保留的 SOD。大量实验表明，我们的网络在六个流行的 RGB-D SOD 基准测试中优于最先进的显着性检测器。称为 cmMS 块，以从粗到细的方式促进显着特征的细化。再加上自下而上的推理，精炼的显着特征可以实现准确且边缘保留的 SOD。大量实验表明，我们的网络在六个流行的 RGB-D SOD 基准测试中优于最先进的显着性检测器。称为 cmMS 块，以从粗到细的方式促进显着特征的细化。再加上自下而上的推理，精炼的显着特征可以实现准确且边缘保留的 SOD。大量实验表明，我们的网络在六个流行的 RGB-D SOD 基准测试中优于最先进的显着性检测器。