In the past years, convolutional neural networks (CNNs) have demonstrated great success for single image super-resolution (SISR). However, existing CNNs for SISR generally have two limitations: (1) the network depth is very deep, which not only weakens the information flow from bottom to top but also has a heavy model capacity; (2) the network architectures are often feed-forward, which prevent the previous layers capturing the useful information from the following layers, limiting the feature learning capability. To address these issues, this paper presents a lightweight Multi-scale Feedback Residual network for SISR. Specifically, we design a lightweight feedback-based recurrent neural network (FRNN) tailored to SISR. The FRNN is consists of a series of recursive Densely-Connected Blocks (DCBs) with the Low-Resolution (LR) image features and the output of the former DCB as inputs. Each DCB adaptively fuses multi-level features from the side-output intermediate feature maps to generate a powerful feature representation. Meanwhile, the DCB cascades a set of Multi-scale Residual Blocks (MRBs), each of which has an enlarged field of view to fully capture multi-scale context information. Moreover, the MRB has a novel Multi-Kernel Fusion Block (MKFB) design, which can dynamically adjust the receptive field size of the output feature representation based on the multi-scale inputs. The whole network of our MFRSR is lightweight with only $\sim 4.5$M parameters, but achieves favorable performance on five benchmark datasets compared to the state-of-the-art methods in terms of PSNR and SSIM.

在过去的几年中，卷积神经网络（CNN）已经证明了单图像超分辨率（SISR）的巨大成功。但是，现有的用于SISR的CNN通常有两个局限性：（1）网络深度很深，不仅削弱了从下到上的信息流，而且模型容量大。（2）网络架构通常是前馈的，这阻止了前一层从后一层捕获有用信息，从而限制了特征学习能力。为了解决这些问题，本文提出了一种用于SISR的轻量级多尺度反馈残差网络。具体来说，我们设计了针对SISR的轻量级基于反馈的递归神经网络（FRNN）。FRNN由一系列具有低分辨率（LR）图像特征的递归密集连接块（DCB）和以前的DCB的输出作为输入组成。每个DCB自适应地融合来自侧面输出中间特征图的多级特征，以生成功能强大的特征表示。同时，DCB级联了一组多尺度残差块（MRB），每个块具有更大的视野，可以完全捕获多尺度上下文信息。此外，MRB具有新颖的多核融合块（MKFB）设计，该设计可以基于多尺度输入动态调整输出特征表示的接收场大小。我们的MFRSR的整个网络都是轻量级的，只有 每个DCB自适应地融合来自侧面输出中间特征图的多级特征，以生成功能强大的特征表示。同时，DCB级联了一组多尺度残差块（MRB），每个块具有更大的视野，可以完全捕获多尺度上下文信息。此外，MRB具有新颖的多核融合块（MKFB）设计，该设计可以基于多尺度输入动态调整输出特征表示的接收场大小。我们的MFRSR的整个网络都是轻量级的，只有 每个DCB自适应地融合来自侧面输出中间特征图的多级特征，以生成功能强大的特征表示。同时，DCB级联了一组多尺度残差块（MRB），每个块具有更大的视野，可以完全捕获多尺度上下文信息。此外，MRB具有新颖的多核融合块（MKFB）设计，该设计可以基于多尺度输入动态调整输出特征表示的接收场大小。我们的MFRSR的整个网络都是轻量级的，只有 可以根据多尺度输入动态调整输出要素表示的接受域大小。我们的MFRSR的整个网络都是轻量级的，只有 可以根据多尺度输入动态调整输出要素表示的接受场大小。我们的MFRSR的整个网络都是轻量级的，只有$〜4。5$M个参数，但在五个基准数据集上，与PSNR和SSIM方面的最新方法相比，具有良好的性能。