A wide variety of computer vision applications rely on superpixel or supervoxel algorithms as a preprocessing step. This underlines the overall importance that these approaches have gained in recent years. However, most methods show a lack of temporal consistency or fail in producing temporally stable superpixels. In this paper, we present an approach to generate temporally consistent superpixels for video content. Our method is formulated as a contour-evolving expectation-maximization framework, which utilizes an efficient label propagation scheme to encourage the preservation of superpixel shapes and their relative positioning over time. By explicitly detecting the occlusion of superpixels and the disocclusion of new image regions, our framework is able to terminate and create superpixels whose corresponding image region becomes hidden or newly appears. Additionally, the occluded parts of superpixels are incorporated in the further optimization. This increases the compliance of the superpixel flow with the optical flow present in the scene. Using established benchmark suites, we show that our approach produces highly competitive results in comparison to state-of-the-art streaming-capable supervoxel and superpixel algorithms for video content. This is further shown by comparing the streaming-capable approaches as basis for the task of interactive video segmentation where the proposed approach provides the lowest overall misclassification rate.

中文翻译：

---

暂时一致的超像素的遮挡感知方法

各种各样的计算机视觉应用程序都依赖超像素或超体素算法作为预处理步骤。这突显了这些方法在最近几年中获得的总体重要性。但是，大多数方法显示出时间上的一致性不足或无法产生时间上稳定的超像素。在本文中，我们提出了一种为视频内容生成时间上一致的超像素的方法。我们的方法被公式化为轮廓演变期望最大化框架，该框架利用有效的标签传播方案来鼓励保存超像素形状及其随时间的相对位置。通过显式检测超像素的遮挡和新图像区域的遮挡，我们的框架能够终止并创建其相应图像区域被隐藏或新出现的超像素。另外，在进一步的优化中并入了超像素的遮挡部分。这增加了超像素流与场景中存在的光流的依从性。通过使用已建立的基准套件，我们证明了与视频流的最新流传输超级体素和超像素算法相比，我们的方法可产生极具竞争力的结果。通过比较具有流传输能力的方法作为交互式视频分段任务的基础，可以进一步表明这一点，其中所提出的方法提供了最低的总误分类率。这增加了超像素流与场景中存在的光流的依从性。通过使用已建立的基准套件，我们证明了与视频流的最新流传输超级体素和超像素算法相比，我们的方法可产生极具竞争力的结果。通过比较具有流传输能力的方法作为交互式视频分段任务的基础，可以进一步表明这一点，其中所提出的方法提供了最低的总误分类率。这增加了超像素流与场景中存在的光流的依从性。通过使用已建立的基准套件，我们证明了与视频流的最新流传输超级体素和超像素算法相比，我们的方法可产生极具竞争力的结果。通过比较具有流传输能力的方法作为交互式视频分段任务的基础，可以进一步表明这一点，其中所提出的方法提供了最低的总误分类率。