Abstract Saliency detection has made remarkable progress along with the development of deep learning. While how to integrate the low-level intrinsic context with high-level semantic information to keep the object boundary sharp and restrain the background noise is still a challenging problem. Many attempts on network structures and refinement strategies have been explored, such as using Conditional Random Field (CRF) to improve the accuracy of saliency map, but it is independent from the deep network and cannot be trained end-to-end. To tackle this issue, we propose a novel Deep Conditional Random Field network (DCRF) to take both deep feature and neighbor information into consideration. First, Multi-scale Feature Extraction Module (MFEM) is adopted to capture the low level texture and high level semantic features, multi-stacks of deconvolution layers are employed to improve the spatial resolution of deep layers. Then we employ Backward Optimization Module (BOM) to guide shallower layers by high-level location and shape information derived from deeper layers, which intrinsically enhance the representational capacity of low-level features. Finally, a Deep Conditional Random Field Module (DCRFM) with unary and pairwise potentials is designed to concentrate on spatial neighbor relations to obtain a compact and uniformed saliency map. Extensive experimental results on 5 datasets in terms of 6 evaluation metrics demonstrate that the proposed method achieves state-of-the-art performance.

中文翻译：

---

使用深度条件随机场网络进行显着性检测

摘要 随着深度学习的发展，显着性检测取得了显着进展。而如何将低级内在上下文与高级语义信息相结合，以保持对象边界清晰并抑制背景噪声仍然是一个具有挑战性的问题。已经探索了许多关于网络结构和细化策略的尝试，例如使用条件随机场（CRF）来提高显着图的准确性，但它独立于深层网络，无法进行端到端的训练。为了解决这个问题，我们提出了一种新颖的深度条件随机场网络（DCRF）来考虑深度特征和邻居信息。首先，采用多尺度特征提取模块（MFEM）来捕获低级纹理和高级语义特征，采用多叠反卷积层来提高深层的空间分辨率。然后，我们采用向后优化模块 (BOM) 来通过来自更深层的高层位置和形状信息来引导较浅层，这从本质上增强了低层特征的表示能力。最后，设计具有一元和成对势的深度条件随机场模块 (DCRFM) 以专注于空间邻居关系，以获得紧凑且统一的显着图。就 6 个评估指标而言，在 5 个数据集上的大量实验结果表明，所提出的方法实现了最先进的性能。然后，我们采用向后优化模块 (BOM) 来通过来自更深层的高层位置和形状信息来引导较浅层，这从本质上增强了低层特征的表示能力。最后，设计具有一元和成对势的深度条件随机场模块 (DCRFM) 以专注于空间邻居关系，以获得紧凑且统一的显着图。就 6 个评估指标而言，在 5 个数据集上的大量实验结果表明，所提出的方法实现了最先进的性能。然后，我们采用向后优化模块 (BOM) 来通过来自更深层的高层位置和形状信息来引导较浅层，这从本质上增强了低层特征的表示能力。最后，设计具有一元和成对势的深度条件随机场模块 (DCRFM) 以专注于空间邻居关系，以获得紧凑且统一的显着图。就 6 个评估指标而言，在 5 个数据集上的大量实验结果表明，所提出的方法实现了最先进的性能。具有一元和成对势的深度条件随机场模块 (DCRFM) 旨在专注于空间邻居关系，以获得紧凑且统一的显着图。就 6 个评估指标而言，在 5 个数据集上的大量实验结果表明，所提出的方法实现了最先进的性能。具有一元和成对势的深度条件随机场模块 (DCRFM) 旨在专注于空间邻居关系，以获得紧凑且统一的显着图。就 6 个评估指标而言，在 5 个数据集上的大量实验结果表明，所提出的方法实现了最先进的性能。