Single hyperspectral image (HSI) super-resolution (SR) methods using a auxiliary high-resolution (HR) RGB image have achieved great progress recently. However, most existing methods aggregate the information of RGB image and HSI early during input or shallow feature extraction, whose difference between two images has not been treated and discussed. Although a few methods combine both the image features in the middle layer of the network, they fail to make full use of the two inherent properties, i.e., rich spectra of HSI and HR content of RGB image, to guide model representation learning. To address these issues, in this article, we propose a dual-stage learning approach for HSI SR to learn a general spatial–spectral prior and image-specific details, respectively. In the coarse stage, we fully take advantage of two adjacent bands and RGB image to build the model. During coarse SR, a symmetrical feature propagation approach is developed to learn the inherent content of each image over a relatively long range. The symmetrical structure encourages the two streams to better retain their particularity. Meanwhile, it can realize the information interaction by the adaptive local block aggregation (ALBA) module. To learn image-specific details, a back-projection refinement network is embedded in the structure, which further improves the performance in fine stage. The experiments on four benchmark datasets demonstrate that the proposed approach presents excellent performance over the existing methods. Our code is publicly available at https://github.com/qianngli/SFPN .

中文翻译：

---

用于高光谱图像超分辨率的对称特征传播网络

使用辅助高分辨率 (HR) RGB 图像的单高光谱图像 (HSI) 超分辨率 (SR) 方法最近取得了很大进展。然而，现有的大多数方法在输入或浅层特征提取的早期就聚合了 RGB 图像和 HSI 的信息，没有处理和讨论两幅图像之间的差异。尽管少数方法在网络中间层结合了图像特征，但未能充分利用 HSI 的丰富光谱和 RGB 图像的 HR 内容这两个固有属性来指导模型表示学习。为了解决这些问题，在本文中，我们提出了一种用于 HSI SR 的双阶段学习方法，以分别学习一般的空间光谱先验和图像特定的细节。在粗略阶段，我们充分利用两个相邻波段和 RGB 图像来构建模型。在粗略 SR 期间，开发了一种对称的特征传播方法，以在相对较长的范围内学习每个图像的固有内容。对称的结构鼓励两个流更好地保留它们的特殊性。同时，它可以通过自适应局部块聚合（ALBA）模块实现信息交互。为了学习图像特定的细节，在结构中嵌入了一个反投影细化网络，进一步提高了精细阶段的性能。在四个基准数据集上的实验表明，所提出的方法比现有方法具有出色的性能。我们的代码可在以下位置公开获得 开发了一种对称的特征传播方法，以在相对较长的范围内学习每个图像的固有内容。对称的结构鼓励两个流更好地保留它们的特殊性。同时，它可以通过自适应局部块聚合（ALBA）模块实现信息交互。为了学习图像特定的细节，在结构中嵌入了一个反投影细化网络，进一步提高了精细阶段的性能。在四个基准数据集上的实验表明，所提出的方法比现有方法具有出色的性能。我们的代码可在以下位置公开获得 开发了一种对称的特征传播方法，以在相对较长的范围内学习每个图像的固有内容。对称的结构鼓励两个流更好地保留它们的特殊性。同时，它可以通过自适应局部块聚合（ALBA）模块实现信息交互。为了学习图像特定的细节，在结构中嵌入了一个反投影细化网络，进一步提高了精细阶段的性能。在四个基准数据集上的实验表明，所提出的方法比现有方法具有出色的性能。我们的代码可在以下位置公开获得 它可以通过自适应局部块聚合（ALBA）模块实现信息交互。为了学习图像特定的细节，在结构中嵌入了一个反投影细化网络，进一步提高了精细阶段的性能。在四个基准数据集上的实验表明，所提出的方法比现有方法具有出色的性能。我们的代码可在以下位置公开获得 它可以通过自适应局部块聚合（ALBA）模块实现信息交互。为了学习图像特定的细节，在结构中嵌入了一个反投影细化网络，进一步提高了精细阶段的性能。在四个基准数据集上的实验表明，所提出的方法比现有方法具有出色的性能。我们的代码可在以下位置公开获得https://github.com/qinngli/SFPN .