当前位置: X-MOL 学术Int. J. Comput. Vis. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
DeepFlux for Skeleton Detection in the Wild
International Journal of Computer Vision ( IF 19.5 ) Pub Date : 2021-01-30 , DOI: 10.1007/s11263-021-01430-6
Yongchao Xu , Yukang Wang , Stavros Tsogkas , Jianqiang Wan , Xiang Bai , Sven Dickinson , Kaleem Siddiqi

The medial axis, or skeleton, is a fundamental object representation that has been extensively used in shape recognition. Yet, its extension to natural images has been challenging due to the large appearance and scale variations of objects and complex background clutter that appear in this setting. In contrast to recent methods that address skeleton extraction as a binary pixel classification problem, in this article we present an alternative formulation for skeleton detection. We follow the spirit of flux-based algorithms for medial axis recovery by training a convolutional neural network to predict a two-dimensional vector field encoding the flux representation. The skeleton is then recovered from the flux representation, which captures the position of skeletal pixels relative to semantically meaningful entities (e.g., image points in spatial context, and hence the implied object boundaries), resulting in precise skeleton detection. Moreover, since the flux representation is a region-based vector field, it is better able to cope with object parts of large width. We evaluate the proposed method, termed DeepFlux, on six benchmark datasets, consistently achieving superior performance over state-of-the-art methods. Finally, we demonstrate an application of DeepFlux, augmented with a skeleton scale estimation module, to detect objects in aerial images. This combination yields results that are competitive with models trained specifically for object detection, showcasing the versatility and effectiveness of mid-level representations in high-level tasks. An implementation of our method is available at https://github.com/YukangWang/DeepFlux.



中文翻译:

DeepFlux用于野外骨骼检测

中间轴或骨骼是已广泛用于形状识别的基本对象表示形式。然而,由于在这种环境下出现的物体的外观和比例变化很大,背景复杂,其扩展到自然图像一直具有挑战性。与将骨架提取作为二进制像素分类问题的最新方法相反,在本文中,我们提出了一种用于骨架检测的替代方法。我们通过训练卷积神经网络来预测编码磁通量表示的二维矢量场,从而遵循基于磁通量的中间轴恢复算法的精神。然后从流量表示中恢复骨骼,该流量表示捕获骨架像素相对于语义上有意义的实体(例如,图像点在空间上下文中,因此隐含对象边界),从而实现精确的骨骼检测。此外,由于磁通量表示是基于区域的矢量场,因此它能够更好地应对较大宽度的对象部分。我们在六个基准数据集上评估了称为DeepFlux的拟议方法,始终如一地实现了优于最新方法的性能。最后,我们展示了DeepFlux的应用,该模型具有骨架比例估计模块,可以检测空中图像中的物体。这种组合产生的结果与专门针对对象检测训练的模型相比具有竞争力,展示了中级表示在高级任务中的多功能性和有效性。我们的方法的实现可从https://github.com/YukangWang/DeepFlux获得。并因此隐含对象边界),从而实现精确的骨骼检测。此外,由于磁通量表示是基于区域的矢量场,因此它能够更好地应对较大宽度的对象部分。我们在六个基准数据集上评估了称为DeepFlux的拟议方法,始终如一地实现了优于最新方法的性能。最后,我们展示了DeepFlux的应用,该模型具有骨架比例估计模块,可以检测空中图像中的物体。这种组合产生的结果与专门针对对象检测训练的模型相比具有竞争力,展示了中级表示在高级任务中的多功能性和有效性。我们的方法的实现可从https://github.com/YukangWang/DeepFlux获得。并因此隐含对象边界),从而实现精确的骨骼检测。此外,由于磁通量表示是基于区域的矢量场,因此它能够更好地应对较大宽度的对象部分。我们在六个基准数据集上评估了称为DeepFlux的拟议方法,始终如一地实现了优于最新方法的性能。最后,我们展示了DeepFlux的应用,该模型具有骨架比例估计模块,可以检测空中图像中的物体。这种组合所产生的结果与专门针对对象检测而训练的模型相比具有竞争力,展示了中级表示在高级任务中的多功能性和有效性。我们的方法的实现可从https://github.com/YukangWang/DeepFlux获得。此外,由于磁通量表示是基于区域的矢量场,因此它能够更好地应对较大宽度的对象部分。我们在六个基准数据集上评估了称为DeepFlux的拟议方法,始终如一地实现了优于最新方法的性能。最后,我们展示了DeepFlux的应用,该模型具有骨架比例估计模块,可以检测空中图像中的物体。这种组合产生的结果与专门针对对象检测训练的模型相比具有竞争力,展示了中级表示在高级任务中的多功能性和有效性。我们的方法的实现可从https://github.com/YukangWang/DeepFlux获得。此外,由于磁通量表示是基于区域的矢量场,因此它能够更好地应对较大宽度的对象部分。我们在六个基准数据集上评估了称为DeepFlux的拟议方法,始终如一地实现了优于最新方法的性能。最后,我们展示了DeepFlux的应用,该模型具有骨架比例估计模块,可以检测空中图像中的物体。这种组合产生的结果与专门针对对象检测训练的模型相比具有竞争力,展示了中级表示在高级任务中的多功能性和有效性。我们的方法的实现可从https://github.com/YukangWang/DeepFlux获得。我们在六个基准数据集上评估了称为DeepFlux的拟议方法,始终如一地实现了优于最新方法的性能。最后,我们演示了DeepFlux的应用,该框架具有骨架比例估计模块,可以检测航空图像中的物体。这种组合产生的结果与专门针对对象检测训练的模型相比具有竞争力,展示了中级表示在高级任务中的多功能性和有效性。我们的方法的实现可从https://github.com/YukangWang/DeepFlux获得。我们在六个基准数据集上评估了称为DeepFlux的拟议方法,始终如一地实现了优于最新方法的性能。最后,我们展示了DeepFlux的应用,该模型具有骨架比例估计模块,可以检测空中图像中的物体。这种组合产生的结果与专门针对对象检测训练的模型相比具有竞争力,展示了中级表示在高级任务中的多功能性和有效性。我们的方法的实现可从https://github.com/YukangWang/DeepFlux获得。这种组合产生的结果与专门针对对象检测训练的模型相比具有竞争力,展示了中级表示在高级任务中的多功能性和有效性。我们的方法的实现可从https://github.com/YukangWang/DeepFlux获得。这种组合产生的结果与专门针对对象检测训练的模型相比具有竞争力,展示了中级表示在高级任务中的多功能性和有效性。我们的方法的实现可从https://github.com/YukangWang/DeepFlux获得。

更新日期:2021-01-31
down
wechat
bug