Fusing a low-resolution hyperspectral (LRHS) image and a high-resolution multispectral (HRMS) image to generate a high-resolution hyperspectral (HRHS) image has grown a significant and attractive application in remote sensing fields. Recently, the popularization of deep learning has injected more possibilities into the fusion work. However, there still exists a difficulty that is how to make the best of the acquired LRHS and HRMS images. In this article, we present a twice optimizing net with matrix decomposition to fulfill the fusion task, which can be roughly divided into three stages: pre-optimization, deep prior learning, post-optimization. Specifically, we first transform this fusion problem into a spectral optimization problem and a spatial optimization problem with the help of matrix decomposition. These two optimization problems can be handled sequentially by solving a linear equation, respectively, and then we can obtain the initial HRHS image by multiplying the two solutions. Next, we establish the mapping between the initial image and the reference image through an end-to-end deep residual network based on local and nonlocal connectivity. In order to get better performance, we have customized a loss function specifically for the fusion task as well. Finally, we return the predicted result again to the optimization procedure to get the final fusion image. After the evaluation on three simulated datasets and one real dataset, it illustrates that the proposed method outperforms many state-of-the-art ones.

中文翻译：

---

用于高光谱和多光谱图像融合的矩阵分解的二次优化网络

融合低分辨率高光谱 (LRHS) 图像和高分辨率多光谱 (HRMS) 图像以生成高分辨率高光谱 (HRHS) 图像已在遥感领域获得重要且有吸引力的应用。最近，深度学习的普及为融合工作注入了更多的可能性。然而，如何充分利用采集到的 LRHS 和 HRMS 图像仍然存在困难。在本文中，我们提出了一个带有矩阵分解的二次优化网络来完成融合任务，大致可以分为三个阶段：预优化、深度先验学习、后优化。具体来说，我们首先借助矩阵分解将这个融合问题转化为光谱优化问题和空间优化问题。这两个优化问题可以分别通过求解一个线性方程依次处理，然后我们可以通过将两个解相乘得到初始HRHS图像。接下来，我们通过基于局部和非局部连通性的端到端深度残差网络建立初始图像和参考图像之间的映射。为了获得更好的性能，我们还专门为融合任务定制了一个损失函数。最后，我们再次将预测结果返回给优化程序以获得最终的融合图像。在对三个模拟数据集和一个真实数据集进行评估后，它表明所提出的方法优于许多最先进的方法。然后我们可以通过将两个解相乘得到初始的 HRHS 图像。接下来，我们通过基于局部和非局部连通性的端到端深度残差网络建立初始图像和参考图像之间的映射。为了获得更好的性能，我们还专门为融合任务定制了一个损失函数。最后，我们再次将预测结果返回给优化程序以获得最终的融合图像。在对三个模拟数据集和一个真实数据集进行评估后，它表明所提出的方法优于许多最先进的方法。然后我们可以通过将两个解相乘得到初始的 HRHS 图像。接下来，我们通过基于局部和非局部连通性的端到端深度残差网络建立初始图像和参考图像之间的映射。为了获得更好的性能，我们还专门为融合任务定制了一个损失函数。最后，我们再次将预测结果返回给优化程序以获得最终的融合图像。在对三个模拟数据集和一个真实数据集进行评估后，它表明所提出的方法优于许多最先进的方法。我们还专门为融合任务定制了一个损失函数。最后，我们再次将预测结果返回给优化程序以获得最终的融合图像。在对三个模拟数据集和一个真实数据集进行评估后，它表明所提出的方法优于许多最先进的方法。我们还专门为融合任务定制了一个损失函数。最后，我们再次将预测结果返回给优化程序以获得最终的融合图像。在对三个模拟数据集和一个真实数据集进行评估后，它表明所提出的方法优于许多最先进的方法。