In this paper, a hierarchical probabilistic graphical model is proposed to tackle joint classification of multiresolution and multisensor remote sensing images of the same scene. This problem is crucial in the study of satellite imagery and jointly involves multiresolution and multisensor image fusion. The proposed framework consists of a hierarchical Markov model with a quadtree structure to model information contained in different spatial scales, a planar Markov model to account for contextual spatial information at each resolution, and decision tree ensembles for pixelwise modeling. This probabilistic graphical model and its topology are especially fit for application to very high resolution (VHR) image data. The theoretical properties of the proposed model are analyzed: the causality of the whole framework is mathematically proved, granting the use of time-efficient inference algorithms such as the marginal posterior mode criterion, which is non-iterative when applied to quadtree structures. This is mostly advantageous for classification methods linked to multiresolution tasks formulated on hierarchical Markov models. Within the proposed framework, two multimodal classification algorithms are developed, that incorporate Markov mesh and spatial Markov chain concepts. The results obtained in the experimental validation conducted with two datasets containing VHR multispectral, panchromatic, and radar satellite images, verify the effectiveness of the proposed framework. The proposed approach is also compared to previous methods that are based on alternate strategies for multimodal fusion.

中文翻译：

---

基于因果层次马尔可夫框架和决策树集成的多传感器和多分辨率遥感影像分类

本文提出了一种分层概率图形模型来解决同一场景的多分辨率和多传感器遥感影像的联合分类问题。这个问题在卫星图像研究中至关重要，并且共同涉及多分辨率和多传感器图像融合。所提出的框架包括一个具有四叉树结构的层次马尔可夫模型，用于建模包含在不同空间尺度中的信息；一个平面马尔科夫模型，用于解释每个分辨率下的上下文空间信息；以及决策树集合，用于逐像素建模。这种概率图形模型及其拓扑特别适合应用于超高分辨率（VHR）图像数据。分析了所提出模型的理论特性：数学上证明了整个框架的因果关系，允许使用省时的推理算法（例如边际后验模式准则），该算法在应用于四叉树结构时是非迭代的。这对于链接到在层次马尔可夫模型上制定的多分辨率任务的分类方法而言，最有利。在提出的框架内，开发了两种多模式分类算法，这些算法结合了马尔可夫网格和空间马尔可夫链概念。在使用包含VHR多光谱，全色和雷达卫星图像的两个数据集进行的实验验证中获得的结果验证了所提出框架的有效性。还将所提出的方法与基于多模态融合替代策略的先前方法进行比较。当应用于四叉树结构时，这是非迭代的。这对于链接到在层次马尔可夫模型上制定的多分辨率任务的分类方法而言，最有利。在提出的框架内，开发了两种多模式分类算法，这些算法结合了马尔可夫网格和空间马尔可夫链概念。在使用包含VHR多光谱，全色和雷达卫星图像的两个数据集进行的实验验证中获得的结果验证了所提出框架的有效性。还将所提出的方法与基于多模态融合替代策略的先前方法进行比较。当应用于四叉树结构时，这是非迭代的。这对于链接到在层次马尔可夫模型上制定的多分辨率任务的分类方法而言，最有利。在提出的框架内，开发了两种多模式分类算法，这些算法结合了马尔可夫网格和空间马尔可夫链概念。在使用包含VHR多光谱，全色和雷达卫星图像的两个数据集进行的实验验证中获得的结果验证了所提出框架的有效性。还将所提出的方法与基于多模态融合替代策略的先前方法进行比较。在提出的框架内，开发了两种多模式分类算法，这些算法结合了马尔可夫网格和空间马尔可夫链概念。在使用包含VHR多光谱，全色和雷达卫星图像的两个数据集进行的实验验证中获得的结果验证了所提出框架的有效性。还将所提出的方法与基于多模态融合替代策略的先前方法进行比较。在提出的框架内，开发了两种多模式分类算法，这些算法结合了马尔可夫网格和空间马尔可夫链概念。在使用包含VHR多光谱，全色和雷达卫星图像的两个数据集进行的实验验证中获得的结果验证了所提出框架的有效性。还将所提出的方法与基于多模态融合替代策略的先前方法进行比较。