ABSTRACT

Remote sensing scene classification has gained increasing interest in remote sensing image understanding and feature representation is the crucial factor for classification methods. Convolutional Neural Network (CNN) generally uses hierarchical deep structure to automatically learn the feature representation from the whole images and thus has been widely applied in scene classification. However, it may fail to consider the discriminative components within the image during the learning process. Moreover, the potential relationships of scene semantics are likely to be ignored. In this paper, we present a novel remote sensing scene classification method based on high-order graph convolutional network (H-GCN). Our method uses the attention mechanism to focus on the key components inside the image during CNN feature learning. More importantly, high-order graph convolutional network is applied to investigate the class dependencies. The graph structure is built where each node is described by the mean of attentive CNN features from each semantic class. The semantic class dependencies are propagated with mixing neighbor information of nodes at different orders and thus the more informative representation of nodes can be gained. The node representations of H-GCN and attention CNN features are finally integrated as the discriminative feature representation for scene classification. Experimental results on benchmark datasets demonstrate the feasibility and effectiveness of our method for remote sensing scene classification.

摘要

遥感场景分类越来越引起人们对遥感图像理解的关注，特征表示是分类方法的关键因素。卷积神经网络（CNN）通常使用分层深度结构从整个图像中自动学习特征表示，因此已广泛应用于场景分类中。但是，在学习过程中可能无法考虑图像中的区别成分。而且，场景语义的潜在关系可能会被忽略。本文提出了一种基于高阶图卷积网络（H-GCN）的遥感场景分类新方法。在CNN特征学习过程中，我们的方法使用注意力机制来关注图像内的关键成分。更重要的是，应用高阶图卷积网络研究类的依赖关系。构建图结构，其中每个节点通过每个语义类中的注意CNN特征的平均值进行描述。语义类相关性通过混合节点的邻居信息以不同的顺序传播，因此可以获得更多信息的节点表示。最后，将H-GCN和注意力CNN特征的节点表示形式集成为用于场景分类的区分性特征表示形式。在基准数据集上的实验结果证明了我们的遥感场景分类方法的可行性和有效性。构建图结构，其中每个节点通过每个语义类中的注意CNN特征的平均值进行描述。语义类相关性通过混合节点的邻居信息以不同的顺序传播，因此可以获得更多信息的节点表示。最后，将H-GCN和注意力CNN特征的节点表示形式集成为用于场景分类的区分性特征表示形式。在基准数据集上的实验结果证明了我们的遥感场景分类方法的可行性和有效性。构建图结构，其中每个节点通过每个语义类中的注意CNN特征的平均值进行描述。语义类相关性通过混合节点的邻居信息以不同的顺序传播，因此可以获得更多信息的节点表示。最后，将H-GCN和注意力CNN特征的节点表示形式集成为用于场景分类的区分性特征表示形式。在基准数据集上的实验结果证明了我们的遥感场景分类方法的可行性和有效性。最后，将H-GCN和注意力CNN特征的节点表示形式集成为用于场景分类的区分性特征表示形式。在基准数据集上的实验结果证明了我们的遥感场景分类方法的可行性和有效性。最后，将H-GCN和注意力CNN特征的节点表示形式集成为用于场景分类的区分性特征表示形式。在基准数据集上的实验结果证明了我们的遥感场景分类方法的可行性和有效性。