当前位置: X-MOL 学术J. Real-Time Image Proc. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
A practical super-resolution method for multi-degradation remote sensing images with deep convolutional neural networks
Journal of Real-Time Image Processing ( IF 2.9 ) Pub Date : 2022-09-16 , DOI: 10.1007/s11554-022-01245-9
Zhibo Zhao , Chao Ren , Qizhi Teng , Xiaohai He

Recent studies have proved that convolutional neural networks (CNNs) have great potential for image super-resolution (SR) tasks. However, most existing methods rely on paired high-resolution (HR) and low-resolution (LR) images to train the CNN, where the LR images are routinely synthesized by applying predefined degradation operations (e.g., bicubic). Because the degradation process of LR images is usually unknown and more complex than those predefined, these methods suffer a significant performance decrease when applied to real-world SR problems. In addition, a deeper and wider network structure enables superior performance while increasing the network parameters and inference time, making it difficult to process real-time data. Inspired by the above motivations, we present an efficient two-step SR method for multi-degradation remote sensing images. Specifically, we first present a novel kernel estimation framework based on generative adversarial networks that can accurately extract the latent blur kernel from the input LR image without any image priors. We then train an efficient SR deep neural network with paired HR and corresponding LR images degraded with the generated kernels. To better balance network parameters and network performance, the densely connected attention mechanism and multi-scale feature extract blocks are introduced in the SR network by increasing the flow of feature information within the network. Extensive experiments indicate that the proposed method outperforms current methods with desired network parameters and complexity, making it feasible to enable real-time image processing.



中文翻译:

一种实用的深度卷积神经网络多退化遥感图像超分辨率方法

最近的研究证明,卷积神经网络 (CNN) 在图像超分辨率 (SR) 任务中具有巨大潜力。然而,大多数现有方法依赖于成对的高分辨率 (HR) 和低分辨率 (LR) 图像来训练 CNN,其中 LR 图像通常通过应用预定义的退化操作(例如双三次)来合成。由于 LR 图像的退化过程通常是未知的并且比预定义的更复杂,因此这些方法在应用于现实世界的 SR 问题时会遭受显着的性能下降。此外,更深、更宽的网络结构在提高网络参数和推理时间的同时,能够实现卓越的性能,从而难以处理实时数据。受上述动机的启发,我们提出了一种用于多退化遥感图像的高效两步 SR 方法。具体来说,我们首先提出了一种基于生成对抗网络的新型核估计框架,该框架可以准确地从输入 LR 图像中提取潜在模糊核,而无需任何图像先验。然后,我们训练一个高效的 SR 深度神经网络,其中包含成对的 HR 和相应的 LR 图像,这些图像使用生成的内核进行降级。为了更好地平衡网络参数和网络性能,通过增加网络内特征信息的流动,在 SR 网络中引入了密集连接的注意力机制和多尺度特征提取块。大量实验表明,所提出的方法在所需的网络参数和复杂性方面优于当前方法,使其能够实现实时图像处理。具体来说,我们首先提出了一种基于生成对抗网络的新型核估计框架,该框架可以准确地从输入 LR 图像中提取潜在模糊核,而无需任何图像先验。然后,我们训练一个高效的 SR 深度神经网络,其中包含成对的 HR 和相应的 LR 图像,这些图像使用生成的内核进行降级。为了更好地平衡网络参数和网络性能,通过增加网络内特征信息的流动,在 SR 网络中引入了密集连接的注意力机制和多尺度特征提取块。大量实验表明,所提出的方法在所需的网络参数和复杂性方面优于当前方法,使其能够实现实时图像处理。具体来说,我们首先提出了一种基于生成对抗网络的新型核估计框架,该框架可以准确地从输入 LR 图像中提取潜在模糊核,而无需任何图像先验。然后,我们训练一个高效的 SR 深度神经网络,其中包含成对的 HR 和相应的 LR 图像,这些图像使用生成的内核进行降级。为了更好地平衡网络参数和网络性能,通过增加网络内特征信息的流动,在 SR 网络中引入了密集连接的注意力机制和多尺度特征提取块。大量实验表明,所提出的方法在所需的网络参数和复杂性方面优于当前方法,使其能够实现实时图像处理。我们首先提出了一种基于生成对抗网络的新型核估计框架,该框架可以准确地从输入 LR 图像中提取潜在模糊核,而无需任何图像先验。然后,我们训练一个高效的 SR 深度神经网络,其中包含成对的 HR 和相应的 LR 图像,这些图像使用生成的内核进行降级。为了更好地平衡网络参数和网络性能,通过增加网络内特征信息的流动,在 SR 网络中引入了密集连接的注意力机制和多尺度特征提取块。大量实验表明,所提出的方法在所需的网络参数和复杂性方面优于当前方法,使其能够实现实时图像处理。我们首先提出了一种基于生成对抗网络的新型核估计框架,该框架可以准确地从输入 LR 图像中提取潜在模糊核,而无需任何图像先验。然后,我们训练一个高效的 SR 深度神经网络,其中包含成对的 HR 和相应的 LR 图像,这些图像使用生成的内核进行降级。为了更好地平衡网络参数和网络性能,通过增加网络内特征信息的流动,在 SR 网络中引入了密集连接的注意力机制和多尺度特征提取块。大量实验表明,所提出的方法在所需的网络参数和复杂性方面优于当前方法,使其能够实现实时图像处理。

更新日期:2022-09-16
down
wechat
bug