当前位置: X-MOL 学术IEEE Trans. Image Process. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Dynamic Feature Integration for Simultaneous Detection of Salient Object, Edge and Skeleton.
IEEE Transactions on Image Processing ( IF 10.6 ) Pub Date : 2020-08-26 , DOI: 10.1109/tip.2020.3017352
Jiang-Jiang Liu , Qibin Hou , Ming-Ming Cheng

Salient object segmentation, edge detection, and skeleton extraction are three contrasting low-level pixel-wise vision problems, where existing works mostly focused on designing tailored methods for each individual task. However, it is inconvenient and inefficient to store a pre-trained model for each task and perform multiple different tasks in sequence. There are methods that solve specific related tasks jointly but require datasets with different types of annotations supported at the same time. In this article, we first show some similarities shared by these tasks and then demonstrate how they can be leveraged for developing a unified framework that can be trained end-to-end. In particular, we introduce a selective integration module that allows each task to dynamically choose features at different levels from the shared backbone based on its own characteristics. Furthermore, we design a task-adaptive attention module, aiming at intelligently allocating information for different tasks according to the image content priors. To evaluate the performance of our proposed network on these tasks, we conduct exhaustive experiments on multiple representative datasets. We will show that though these tasks are naturally quite different, our network can work well on all of them and even perform better than current single-purpose state-of-the-art methods. In addition, we also conduct adequate ablation analyses that provide a full understanding of the design principles of the proposed framework.

中文翻译:

动态特征集成,可同时检测显着物体,边缘和骨骼。

显着的对象分割,边缘检测和骨骼提取是三个相对的低级像素级视觉问题,其中现有工作主要集中在为每个任务设计量身定制的方法。但是,为每个任务存储预先训练的模型并依次执行多个不同的任务是不方便且效率低下的。有一些方法可以共同解决特定的相关任务,但需要同时支持具有不同类型注释的数据集。在本文中,我们首先展示了这些任务共享的一些相似之处,然后展示了如何利用它们来开发可以端到端训练的统一框架。尤其是,我们引入了选择性集成模块,该模块允许每个任务根据其自身的特征从共享主干动态选择不同级别的功能。此外,我们设计了一个任务自适应注意模块,旨在根据图像内容先验信息智能地为不同任务分配信息。为了评估我们提议的网络在这些任务上的性能,我们对多个代表性数据集进行了详尽的实验。我们将证明,尽管这些任务天生就大不相同,但我们的网络可以很好地处理所有这些任务,甚至比当前的单一用途的最新方法性能更好。此外,我们还进行了适当的消融分析,以全面了解所提议框架的设计原理。我们设计了一个任务自适应注意模块,旨在根据图像内容先验信息智能地为不同任务分配信息。为了评估我们提议的网络在这些任务上的性能,我们对多个代表性数据集进行了详尽的实验。我们将证明,尽管这些任务天生就大不相同,但我们的网络可以很好地处理所有这些任务,甚至比当前的单一用途的最新方法性能更好。此外,我们还进行了适当的消融分析,以全面了解所提议框架的设计原理。我们设计了一个任务自适应注意模块,旨在根据图像内容先验信息智能地为不同任务分配信息。为了评估我们提议的网络在这些任务上的性能,我们对多个代表性数据集进行了详尽的实验。我们将证明,尽管这些任务天生就大不相同,但我们的网络可以很好地处理所有这些任务,甚至比当前的单一用途的最新方法性能更好。此外,我们还进行了适当的消融分析,以全面了解所提议框架的设计原理。我们对多个代表性数据集进行了详尽的实验。我们将证明,尽管这些任务天生就大不相同,但我们的网络可以很好地处理所有这些任务,甚至比当前的单一用途的最新方法性能更好。此外,我们还进行了适当的消融分析,以全面了解所提议框架的设计原理。我们对多个代表性数据集进行了详尽的实验。我们将证明,尽管这些任务天生就大不相同,但我们的网络可以很好地处理所有这些任务,甚至比当前的单一用途的最新方法性能更好。此外,我们还进行了适当的消融分析,以全面了解所提议框架的设计原理。
更新日期:2020-09-05
down
wechat
bug