RGB-D based salient object detection (SOD) methods leverage the depth map as a valuable complementary information for better SOD performance. Previous methods mainly resort to exploit the correlation between RGB image and depth map in three fusion domains: input images, extracted features, and output results. However, these fusion strategies cannot fully capture the complex correlation between the RGB image and depth map. Besides, these methods do not fully explore the cross-modal complementarity and the cross-level continuity of information, and treat information from different sources without discrimination. In this paper, to address these problems, we propose a novel Information Conversion Network (ICNet) for RGB-D based SOD by employing the siamese structure with encoder-decoder architecture. To fuse high-level RGB and depth features in an interactive and adaptive way, we propose a novel Information Conversion Module (ICM), which contains concatenation operations and correlation layers. Furthermore, we design a Cross-modal Depth-weighted Combination (CDC) block to discriminate the cross-modal features from different sources and to enhance RGB features with depth features at each level. Extensive experiments on five commonly tested datasets demonstrate the superiority of our ICNet over 15 state-of-the-art RGB-D based SOD methods, and validate the effectiveness of the proposed ICM and CDC block.

中文翻译：

---

ICNet：用于基于RGB-D的显着目标检测的信息转换网络

基于RGB-D的显着目标检测（SOD）方法将深度图用作有价值的补充信息，以提高SOD性能。先前的方法主要在三个融合域中利用RGB图像和深度图之间的相关性：输入图像，提取的特征和输出结果。但是，这些融合策略无法完全捕获RGB图像和深度图之间的复杂关联。此外，这些方法没有充分探索信息的交叉模式互补性和跨层次的连续性，并且没有区别地对待来自不同来源的信息。在本文中，为解决这些问题，我们提出了一种新颖的信息转换网络（ICNet），该方法通过采用具有编码器-解码器结构的暹罗结构来为基于RGB-D的SOD提出一个新的信息转换网络。为了以交互和自适应的方式融合高级RGB和深度功能，我们提出了一种新颖的信息转换模块（ICM），其中包含串联操作和相关层。此外，我们设计了一个交叉模态深度加权组合（CDC）块，以区分不同来源的交叉模态特征，并通过每个级别的深度特征来增强RGB特征。在五个经常测试的数据集上进行的广泛实验证明，我们的ICNet优于15种基于RGB-D的最新SOD方法，并验证了所提出的ICM和CDC模块的有效性。我们设计了一个交叉模态深度加权组合（CDC）块，以区分不同来源的交叉模态特征，并通过每个级别的深度特征来增强RGB特征。在五个经常测试的数据集上进行的广泛实验证明，我们的ICNet优于15种基于RGB-D的最新SOD方法，并验证了所提出的ICM和CDC模块的有效性。我们设计了一个交叉模态深度加权组合（CDC）块，以区分不同来源的交叉模态特征，并通过每个级别的深度特征来增强RGB特征。在五个经常测试的数据集上进行的广泛实验证明，我们的ICNet优于15种基于RGB-D的最新SOD方法，并验证了所提出的ICM和CDC模块的有效性。