Pan-sharpening, which fuses the high-resolution panchromatic (PAN) image and the low-resolution multispectral image (MSI), is a hot topic in remote sensing. Recently, deep learning technology has been successfully applied in pan-sharpening. However, the existing methods ignore that the MSI and PAN image are at different resolutions and use the same networks to extract features of the two images. To address this problem, we propose a two-stream deep learning architecture, called coupled multiscale convolutional neural network, for pan-sharpening. The proposed network has three components, feature extraction subnetworks, fusion layer, and super-resolution subnetwork. In the feature extraction subnetworks, two subnetworks are used to extract the features of the MSI and PAN image separately. Different sizes of convolutional kernels are used in the first layers due to the different spatial resolutions. Thus, the source images are mapped to the similar scale. Then a multiscale asymmetric convolution factorization is used to extract features at different scales. In the fusion layer, the two feature extraction subnetworks are coupled. Features at the same scale are first summed, and then the features of all scales are concatenated as one feature map. At last, a super-resolution subnetwork is used to generate the high-resolution MSI. Experimental results on both synthetic and real data sets demonstrate that the proposed method outperforms the other state-of-the-art pan-sharpening methods.

中文翻译：

---

一种用于全色锐化的双流多尺度深度学习架构

融合高分辨率全色（PAN）图像和低分辨率多光谱图像（MSI）的全色锐化是遥感领域的热门话题。最近，深度学习技术已成功应用于全色锐化。然而，现有方法忽略了 MSI 和 PAN 图像的分辨率不同，并使用相同的网络来提取两幅图像的特征。为了解决这个问题，我们提出了一种双流深度学习架构，称为耦合多尺度卷积神经网络，用于全色锐化。所提出的网络具有三个组成部分，特征提取子网络、融合层和超分辨率子网络。在特征提取子网络中，两个子网络分别用于提取MSI和PAN图像的特征。由于空间分辨率不同，第一层使用了不同大小的卷积核。因此，源图像被映射到相似的比例。然后使用多尺度非对称卷积分解来提取不同尺度的特征。在融合层，两个特征提取子网络是耦合的。首先将相同尺度的特征相加，然后将所有尺度的特征连接为一个特征图。最后，使用超分辨率子网生成高分辨率 MSI。在合成和真实数据集上的实验结果表明，所提出的方法优于其他最先进的全色锐化方法。然后使用多尺度非对称卷积分解来提取不同尺度的特征。在融合层，两个特征提取子网络是耦合的。首先将相同尺度的特征相加，然后将所有尺度的特征连接为一个特征图。最后，使用超分辨率子网生成高分辨率 MSI。在合成和真实数据集上的实验结果表明，所提出的方法优于其他最先进的全色锐化方法。然后使用多尺度非对称卷积分解来提取不同尺度的特征。在融合层，两个特征提取子网络是耦合的。首先将相同尺度的特征相加，然后将所有尺度的特征连接为一个特征图。最后，使用超分辨率子网生成高分辨率 MSI。在合成和真实数据集上的实验结果表明，所提出的方法优于其他最先进的全色锐化方法。超分辨率子网用于生成高分辨率 MSI。在合成和真实数据集上的实验结果表明，所提出的方法优于其他最先进的全色锐化方法。超分辨率子网用于生成高分辨率 MSI。在合成和真实数据集上的实验结果表明，所提出的方法优于其他最先进的全色锐化方法。