Robotic advances and developments in sensors and acquisition systems facilitate the collection of survey data in remote and challenging scenarios. Semantic segmentation, which attempts to provide per-pixel semantic labels, is an essential task when processing such data. Recent advances in deep learning approaches have boosted this task's performance. Unfortunately, these methods need large amounts of labeled data, which is usually a challenge in many domains. In many environmental monitoring instances, such as the coral reef example studied here, data labeling demands expert knowledge and is costly. Therefore, many data sets often present scarce and sparse image annotations or remain untouched in image libraries. This study proposes and validates an effective approach for learning semantic segmentation models from sparsely labeled data. Based on augmenting sparse annotations with the proposed adaptive superpixel segmentation propagation, we obtain similar results as if training with dense annotations, significantly reducing the labeling effort. We perform an in-depth analysis of our labeling augmentation method as well as of different neural network architectures and loss functions for semantic segmentation. We demonstrate the effectiveness of our approach on publicly available data sets of different real domains, with the emphasis on underwater scenarios—specifically, coral reef semantic segmentation. We release new labeled data as well as an encoder trained on half a million coral reef images, which is shown to facilitate the generalization to new coral scenarios.

中文翻译：

---

CoralSeg：从稀疏注释中学习珊瑚分割

传感器和采集系统的机器人进步和发展促进了在远程和具有挑战性的场景中收集调查数据。语义分割试图提供每个像素的语义标签，是处理此类数据时的一项基本任务。深度学习方法的最新进展提高了这项任务的性能。不幸的是，这些方法需要大量标记数据，这在许多领域通常是一个挑战。在许多环境监测实例中，例如这里研究的珊瑚礁示例，数据标记需要专业知识并且成本高昂。因此，许多数据集通常存在稀缺和稀疏的图像注释或在图像库中保持不变。本研究提出并验证了一种从稀疏标记数据中学习语义分割模型的有效方法。基于使用提出的自适应超像素分割传播增强稀疏注释，我们获得了与使用密集注释进行训练类似的结果，显着减少了标记工作。我们对我们的标签增强方法以及用于语义分割的不同神经网络架构和损失函数进行了深入分析。我们展示了我们的方法在不同真实领域的公开数据集上的有效性，重点是水下场景——特别是珊瑚礁语义分割。我们发布了新的标记数据以及在 50 万张珊瑚礁图像上训练的编码器，这有助于推广到新的珊瑚场景。我们获得了与使用密集注释进行训练类似的结果，显着减少了标记工作。我们对我们的标签增强方法以及用于语义分割的不同神经网络架构和损失函数进行了深入分析。我们展示了我们的方法在不同真实领域的公开可用数据集上的有效性，重点是水下场景——特别是珊瑚礁语义分割。我们发布了新的标记数据以及在 50 万张珊瑚礁图像上训练的编码器，这有助于推广到新的珊瑚场景。我们获得了与使用密集注释进行训练类似的结果，显着减少了标记工作。我们对我们的标签增强方法以及用于语义分割的不同神经网络架构和损失函数进行了深入分析。我们展示了我们的方法在不同真实领域的公开可用数据集上的有效性，重点是水下场景——特别是珊瑚礁语义分割。我们发布了新的标记数据以及在 50 万张珊瑚礁图像上训练的编码器，这有助于推广到新的珊瑚场景。我们对我们的标签增强方法以及用于语义分割的不同神经网络架构和损失函数进行了深入分析。我们展示了我们的方法在不同真实领域的公开可用数据集上的有效性，重点是水下场景——特别是珊瑚礁语义分割。我们发布了新的标记数据以及在 50 万张珊瑚礁图像上训练的编码器，这有助于推广到新的珊瑚场景。我们对我们的标签增强方法以及用于语义分割的不同神经网络架构和损失函数进行了深入分析。我们展示了我们的方法在不同真实领域的公开可用数据集上的有效性，重点是水下场景——特别是珊瑚礁语义分割。我们发布了新的标记数据以及在 50 万张珊瑚礁图像上训练的编码器，这有助于推广到新的珊瑚场景。