ABSTRACT

Capturing global contextual representations in remote sensing images by exploiting long-range pixel–pixel dependencies has been shown to improve segmentation performance. However, how to do this efficiently is an open question as current approaches of utilizing attention schemes, or very deep models to increase the field of view, increases complexity and memory consumption. Inspired by recent work on graph neural networks, we propose the Self-Constructing Graph (SCG) module that learns a long-range dependency graph directly from the image data and uses it to capture global contextual information efficiently to improve semantic segmentation. The SCG module provides a high degree of flexibility for constructing segmentation networks that seamlessly make use of the benefits of variants of graph neural networks (GNN) and convolutional neural networks (CNN). Our SCG-GCN model, a variant of SCG-Net built upon graph convolutional networks (GCN), performs semantic segmentation in an end-to-end manner with competitive performance on the publicly available ISPRS Potsdam and Vaihingen datasets, achieving a mean F1-scores of 92.0% and 89.8%, respectively. We conclude that the SCG-Net is an attractive architecture for semantic segmentation of remote sensing images since it achieves competitive performance with much fewer parameters and lower computational cost compared to related models based on convolutional neural networks.

摘要

通过利用长距离像素-像素依赖性来捕获遥感图像中的全局上下文表示已被证明可以提高分割性能。然而，如何有效地做到这一点是一个悬而未决的问题，因为当前利用注意力机制或非常深的模型来增加视野的方法会增加复杂性和内存消耗。受最近图神经网络工作的启发，我们提出了自构造图 (SCG) 模块，该模块直接从图像数据中学习远程依赖图，并使用它有效地捕获全局上下文信息以改进语义分割。SCG 模块为构建无缝利用图神经网络 (GNN) 和卷积神经网络 (CNN) 变体的优点的分割网络提供了高度的灵活性。我们的 SCG-GCN 模型是基于图卷积网络 (GCN) 的 SCG-Net 的变体，以端到端的方式执行语义分割，并在公开可用的 ISPRS Potsdam 和 Vaihingen 数据集上具有竞争力的性能，实现了平均 F1-得分分别为 92.0% 和 89.8%。我们得出结论，SCG-Net 是一种有吸引力的遥感图像语义分割架构，因为与基于卷积神经网络的相关模型相比，它以更少的参数和更低的计算成本实现了具有竞争力的性能。基于图卷积网络 (GCN) 的 SCG-Net 变体，以端到端的方式执行语义分割，在公开可用的 ISPRS Potsdam 和 Vaihingen 数据集上具有竞争力的性能，实现了 92.0% 和 89.8 的平均 F1 分数％， 分别。我们得出结论，SCG-Net 是一种有吸引力的遥感图像语义分割架构，因为与基于卷积神经网络的相关模型相比，它以更少的参数和更低的计算成本实现了具有竞争力的性能。基于图卷积网络 (GCN) 的 SCG-Net 变体，以端到端的方式执行语义分割，在公开可用的 ISPRS Potsdam 和 Vaihingen 数据集上具有竞争力的性能，实现了 92.0% 和 89.8 的平均 F1 分数％， 分别。我们得出结论，SCG-Net 是一种有吸引力的遥感图像语义分割架构，因为与基于卷积神经网络的相关模型相比，它以更少的参数和更低的计算成本实现了具有竞争力的性能。