Deep Convolutional Neural Networks (CNN) have drawn great attention in image super-resolution (SR). Recently, visual attention mechanism, which exploits both of the feature importance and contextual cues, has been introduced to image SR and proves to be effective to improve CNN-based SR performance. In this paper, we make a thorough investigation on the attention mechanisms in a SR model and shed light on how simple and effective improvements on these ideas improve the state-of-the-arts. We further propose a unified approach called "multi-grained attention networks (MGAN)" which fully exploits the advantages of multi-scale and attention mechanisms in SR tasks. In our method, the importance of each neuron is computed according to its surrounding regions in a multi-grained fashion and then is used to adaptively re-scale the feature responses. More importantly, the "channel attention" and "spatial attention" strategies in previous methods can be essentially considered as two special cases of our method. We also introduce multi-scale dense connections to extract the image features at multiple scales and capture the features of different layers through dense skip connections. Ablation studies on benchmark datasets demonstrate the effectiveness of our method. In comparison with other state-of-the-art SR methods, our method shows the superiority in terms of both accuracy and model size.

中文翻译：

---

单图像超分辨率的多粒度注意力网络

深度卷积神经网络（CNN）在图像超分辨率（SR）方面引起了极大的关注。最近，利用特征重要性和上下文线索的视觉注意机制已被引入图像 SR，并被证明可有效提高基于 CNN 的 SR 性能。在本文中，我们对 SR 模型中的注意力机制进行了彻底的调查，并阐明了对这些想法的简单有效的改进是如何改进最新技术的。我们进一步提出了一种称为“多粒度注意力网络（MGAN）”的统一方法，它充分利用了 SR 任务中多尺度和注意力机制的优势。在我们的方法中，每个神经元的重要性根据其周围区域以多粒度方式计算，然后用于自适应地重新缩放特征响应。更重要的是，之前方法中的“通道注意力”和“空间注意力”策略本质上可以看作是我们方法的两个特例。我们还引入了多尺度密集连接来提取多个尺度的图像特征，并通过密集跳过连接捕获不同层的特征。对基准数据集的消融研究证明了我们方法的有效性。与其他最先进的 SR 方法相比，我们的方法在准确性和模型大小方面都表现出优势。先前方法中的策略本质上可以被视为我们方法的两个特例。我们还引入了多尺度密集连接来提取多个尺度的图像特征，并通过密集跳过连接捕获不同层的特征。对基准数据集的消融研究证明了我们方法的有效性。与其他最先进的 SR 方法相比，我们的方法在准确性和模型大小方面都表现出优势。先前方法中的策略本质上可以被视为我们方法的两个特例。我们还引入了多尺度密集连接来提取多个尺度的图像特征，并通过密集跳过连接捕获不同层的特征。对基准数据集的消融研究证明了我们方法的有效性。与其他最先进的 SR 方法相比，我们的方法在准确性和模型大小方面都表现出优势。