Fusion based hyperspectral image (HSI) super-resolution method, which obtains a spatially high-resolution (HR) HSI by fusing a low-resolution (LR) HSI and an HR conventional image, has been a prevalent method for HSI super-resolution. One effective fusion based method is to cast HSI super-resolution into a unified optimization problem, where handcrafted priors such as sparse prior or low rank prior are always adopted to regularize the latent HR HSI to be optimized. However, these priors show limitations in generalizing to challenging cases due to the heuristic assumption on image statistics as well as the restricted expressiveness capacity of the shallow structure. Taking advantages of the powerful expression ability of deep learning based method, a new HSI super-resolution network is proposed which implicitly incorporates a deep structure as the regularizer/prior. Specifically, we reformulate the original unified optimization problem into three sub-optimization problems, one is related with the regularizer and the others are without. Thanks to the fact that the one related with the regularizer naturally equals to a denoising problem, a recursive residual network is proposed for this sub-optimization problem. In addition, we unfold the other sub-optimization problems into network representations, with which the original unified optimization problem can be represented into a fully end-to-end network. Experimental results shows the superiority of the proposed method for HSI super-resolution on three benchmark datasets.

中文翻译：

---

用于高光谱图像超分辨率的深度递归网络

基于融合的高光谱图像 (HSI) 超分辨率方法通过融合低分辨率 (LR) HSI 和 HR 常规图像获得空​​间高分辨率 (HR) HSI，已成为 HSI 超分辨率的流行方法。一种有效的基于融合的方法是将 HSI 超分辨率转换为统一优化问题，其中始终采用手工制作的先验（例如稀疏先验或低秩先验）来正则化要优化的潜在 HR HSI。然而，由于对图像统计的启发式假设以及浅层结构的有限表达能力，这些先验在泛化到具有挑战性的案例方面表现出局限性。利用基于深度学习的方法强大的表达能力，提出了一种新的 HSI 超分辨率网络，该网络隐含地包含一个深层结构作为正则化器/先验。具体来说，我们将原来的统一优化问题重新表述为三个子优化问题，一个与正则化器有关，另一个无关。由于与正则化器相关的自然等于去噪问题，因此针对该子优化问题提出了递归残差网络。此外，我们将其他子优化问题展开为网络表示，从而可以将原始统一优化问题表示为一个完全端到端的网络。实验结果表明，所提出的 HSI 超分辨率方法在三个基准数据集上的优越性。我们将原来的统一优化问题重新表述为三个子优化问题，一个与正则化器有关，另一个与正则化器无关。由于与正则化器相关的自然等于去噪问题，因此针对该子优化问题提出了递归残差网络。此外，我们将其他子优化问题展开为网络表示，从而可以将原始统一优化问题表示为一个完全端到端的网络。实验结果表明，所提出的 HSI 超分辨率方法在三个基准数据集上的优越性。我们将原来的统一优化问题重新表述为三个子优化问题，一个与正则化器有关，另一个与正则化器无关。由于与正则化器相关的自然等于去噪问题，因此针对该子优化问题提出了递归残差网络。此外，我们将其他子优化问题展开为网络表示，从而可以将原始统一优化问题表示为一个完全端到端的网络。实验结果表明，所提出的 HSI 超分辨率方法在三个基准数据集上的优越性。由于与正则化器相关的自然等于去噪问题，因此针对该子优化问题提出了递归残差网络。此外，我们将其他子优化问题展开为网络表示，从而可以将原始统一优化问题表示为一个完全端到端的网络。实验结果表明，所提出的 HSI 超分辨率方法在三个基准数据集上的优越性。由于与正则化器相关的自然等于去噪问题，因此针对该子优化问题提出了递归残差网络。此外，我们将其他子优化问题展开为网络表示，从而可以将原始统一优化问题表示为一个完全端到端的网络。实验结果表明，所提出的 HSI 超分辨率方法在三个基准数据集上的优越性。