当前位置: X-MOL 学术J. Comput. Sci. Tech. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Reference Image Guided Super-Resolution via Progressive Channel Attention Networks
Journal of Computer Science and Technology ( IF 1.9 ) Pub Date : 2020-05-01 , DOI: 10.1007/s11390-020-0270-3
Huan-Jing Yue , Sheng Shen , Jing-Yu Yang , Hao-Feng Hu , Yan-Fang Chen

In recent years, the convolutional neural networks (CNNs) for single image super-resolution (SISR) are becoming more and more complex, and it is more challenging to improve the SISR performance. In contrast, the reference image guided super-resolution (RefSR) is an effective strategy to boost the SR (super-resolution) performance. In RefSR, the introduced high-resolution (HR) references can facilitate the high-frequency residual prediction process. According to the best of our knowledge, the existing CNN-based RefSR methods treat the features from the references and the low-resolution (LR) input equally by simply concatenating them together. However, the HR references and the LR inputs contribute differently to the final SR results. Therefore, we propose a progressive channel attention network (PCANet) for RefSR. There are two technical contributions in this paper. First, we propose a novel channel attention module (CAM), which estimates the channel weighting parameter by weightedly averaging the spatial features instead of using global averaging. Second, considering that the residual prediction process can be improved when the LR input is enriched with more details, we perform super-resolution progressively, which can take advantage of the reference images in multi-scales. Extensive quantitative and qualitative evaluations on three benchmark datasets, which represent three typical scenarios for RefSR, demonstrate that our method is superior to the state-of-the-art SISR and RefSR methods in terms of PSNR (Peak Signal-to-Noise Ratio) and SSIM (Structural Similarity).

中文翻译:

通过渐进式通道注意力网络参考图像引导超分辨率

近年来,用于单图像超分辨率 (SISR) 的卷积神经网络 (CNN) 变得越来越复杂,提高 SISR 性能更具挑战性。相比之下,参考图像引导超分辨率(RefSR)是提高 SR(超分辨率)性能的有效策略。在 RefSR 中,引入的高分辨率 (HR) 参考可以促进高频残差预测过程。据我们所知,现有的基于 CNN 的 RefSR 方法通过简单地将参考和低分辨率 (LR) 输入的特征连接在一起来平等地对待它们。然而,HR 参考和 LR 输入对最终 SR 结果的贡献不同。因此,我们为 RefSR 提出了一个渐进式通道注意网络(PCANet)。本文有两个技术贡献。首先,我们提出了一种新的通道注意力模块(CAM),它通过对空间特征进行加权平均而不是使用全局平均来估计通道权重参数。其次,考虑到当 LR 输入富含更多细节时可以改进残差预测过程,我们逐步执行超分辨率,这可以利用多尺度的参考图像。对代表 RefSR 的三个典型场景的三个基准数据集进行了广泛的定量和定性评估,表明我们的方法在 PSNR(峰值信噪比)方面优于最先进的 SISR 和 RefSR 方法和 SSIM(结构相似性)。它通过对空间特征进行加权平均而不是使用全局平均来估计信道加权参数。其次,考虑到当 LR 输入富含更多细节时可以改进残差预测过程,我们逐步执行超分辨率,这可以利用多尺度的参考图像。对代表 RefSR 的三个典型场景的三个基准数据集进行了广泛的定量和定性评估,表明我们的方法在 PSNR(峰值信噪比)方面优于最先进的 SISR 和 RefSR 方法和 SSIM(结构相似性)。它通过对空间特征进行加权平均而不是使用全局平均来估计信道加权参数。其次,考虑到当 LR 输入富含更多细节时可以改进残差预测过程,我们逐步执行超分辨率,这可以利用多尺度的参考图像。对代表 RefSR 的三个典型场景的三个基准数据集进行了广泛的定量和定性评估,表明我们的方法在 PSNR(峰值信噪比)方面优于最先进的 SISR 和 RefSR 方法和 SSIM(结构相似性)。考虑到当 LR 输入富含更多细节时可以改进残差预测过程,我们逐步执行超分辨率,这可以利用多尺度的参考图像。对代表 RefSR 的三个典型场景的三个基准数据集进行了广泛的定量和定性评估,表明我们的方法在 PSNR(峰值信噪比)方面优于最先进的 SISR 和 RefSR 方法和 SSIM(结构相似性)。考虑到当 LR 输入富含更多细节时可以改进残差预测过程,我们逐步执行超分辨率,这可以利用多尺度的参考图像。对代表 RefSR 的三个典型场景的三个基准数据集进行了广泛的定量和定性评估,表明我们的方法在 PSNR(峰值信噪比)方面优于最先进的 SISR 和 RefSR 方法和 SSIM(结构相似性)。
更新日期:2020-05-01
down
wechat
bug