Neighbors Embedding based pansharpening methods have received increasing interests in recent years. However, image patches do not strictly follow the similar structure in the shallow MultiSpectral (MS) and PANchromatic (PAN) image spaces, consequently leading to a bias to the pansharpening. In this paper, a new deep metric learning method is proposed to learn a refined geometric multi-manifold neighbor embedding, by exploring the hierarchical features of patches via multiple nonlinear deep neural networks. First of all, down-sampled PAN images from different satellites are divided into a large number of training image patches and are then grouped coarsely according to their shallow geometric structures. Afterwards, several Stacked Sparse AutoEncoders (SSAE) with similar structures are separately constructed and trained by these grouped patches. In the fusion, image patches of the source PAN image pass through the networks to extract features for formulating a deep distance metric and thus deriving their geometric labels. Then, patches with the same geometric labels are grouped to form geometric manifolds. Finally, the assumption that MS patches and PAN patches form the same geometric manifolds in two distinct spaces, is cast on geometric groups to formulate geometric multi-manifold embedding for estimating high resolution MS image patches. Some experiments are taken on datasets acquired by different satellites. The experimental results demonstrate that our proposed method can obtain better fusion results than its counterparts in terms of visual results and quantitative evaluations.

近年来，基于邻居嵌入的泛锐化方法越来越引起人们的关注。但是，图像补丁在严格的MultiSpectral（MS）和PAN色度（PAN）图像空间中并没有严格遵循类似的结构，因此导致对全色锐化的偏见。本文提出了一种新的深度度量学习方法，通过利用多个非线性深度神经网络探索面片的层次特征，学习精细的几何多流形邻域嵌入。首先，将来自不同卫星的下采样PAN图像划分为大量训练图像块，然后根据其浅层几何结构进行粗略分组。然后，通过这些分组的补丁分别构造和训练几个具有相似结构的堆叠式稀疏自动编码器（SSAE）。在融合中，源PAN图像的图像斑块通过网络，以提取用于制定深度距离度量并由此得出其几何标记的特征。然后，将具有相同几何标记的面片分组以形成几何流形。最后，将MS色块和PAN色块在两个不同的空间中形成相同的几何流形的假设应用于几何组，以制定几何多流形嵌入，以估计高分辨率的MS图像色块。对不同卫星获取的数据集进行了一些实验。实验结果表明，在视觉结果和定量评估方面，我们提出的方法可以获得比同类方法更好的融合结果。源PAN图像的图像斑块通过网络，以提取用于制定深度距离度量并由此得出其几何标记的特征。然后，将具有相同几何标记的面片分组以形成几何流形。最后，将MS色块和PAN色块在两个不同的空间中形成相同的几何流形的假设应用于几何组，以制定几何多流形嵌入，以估计高分辨率的MS图像色块。对不同卫星获取的数据集进行了一些实验。实验结果表明，在视觉结果和定量评估方面，我们提出的方法可以获得比同类方法更好的融合结果。源PAN图像的图像斑块通过网络，以提取用于制定深度距离度量并由此得出其几何标记的特征。然后，将具有相同几何标记的面片分组以形成几何流形。最后，将MS色块和PAN色块在两个不同的空间中形成相同的几何流形的假设应用于几何组，以制定几何多流形嵌入，以估计高分辨率的MS图像色块。对不同卫星获取的数据集进行了一些实验。实验结果表明，在视觉结果和定量评估方面，我们提出的方法可以获得比同类方法更好的融合结果。具有相同几何标记的面片被分组以形成几何流形。最后，将MS色块和PAN色块在两个不同的空间中形成相同的几何流形的假设投射到几何组上，以制定几何多流形嵌入，以估计高分辨率的MS图像色块。对不同卫星获取的数据集进行了一些实验。实验结果表明，在视觉结果和定量评估方面，我们提出的方法可以获得比同类方法更好的融合结果。具有相同几何标记的面片被分组以形成几何流形。最后，将MS色块和PAN色块在两个不同的空间中形成相同的几何流形的假设应用于几何组，以制定几何多流形嵌入，以估计高分辨率的MS图像色块。对不同卫星获取的数据集进行了一些实验。实验结果表明，在视觉结果和定量评估方面，我们提出的方法可以获得比同类方法更好的融合结果。对不同卫星获取的数据集进行了一些实验。实验结果表明，在视觉结果和定量评估方面，我们提出的方法可以获得比同类方法更好的融合结果。对不同卫星获取的数据集进行了一些实验。实验结果表明，在视觉结果和定量评估方面，我们提出的方法可以获得比同类方法更好的融合结果。