Modern single image super-resolution (SISR) system based on convolutional neural networks (CNNs) achieves fancy performance while requires huge computational costs. The problem on feature redundancy is well studied in visual recognition task, but rarely discussed in SISR. Based on the observation that many features in SISR models are also similar to each other, we propose to use shift operation to generate the redundant features (i.e., Ghost features). Compared with depth-wise convolution which is not friendly to GPUs or NPUs, shift operation can bring practical inference acceleration for CNNs on common hardware. We analyze the benefits of shift operation for SISR and make the shift orientation learnable based on Gumbel-Softmax trick. For a given pre-trained model, we first cluster all filters in each convolutional layer to identify the intrinsic ones for generating intrinsic features. Ghost features will be derived by moving these intrinsic features along a specific orientation. The complete output features are constructed by concatenating the intrinsic and ghost features together. Extensive experiments on several benchmark models and datasets demonstrate that both the non-compact and lightweight SISR models embedded in our proposed module can achieve comparable performance to that of their baselines with large reduction of parameters, FLOPs and GPU latency. For instance, we reduce the parameters by 47%, FLOPs by 46% and GPU latency by 41% of EDSR x2 network without significant performance degradation.

中文翻译：

---

GhostSR：学习Ghost功能以获得有效的图像超分辨率

基于卷积神经网络（CNN）的现代单图像超分辨率（SISR）系统可实现出色的性能，同时需要巨大的计算成本。关于特征冗余的问题在视觉识别任务中得到了很好的研究，但在SISR中很少讨论。基于观察到SISR模型中的许多特征也彼此相似，我们建议使用移位运算来生成冗余特征（即Ghost特征）。与对GPU或NPU不友好的深度卷积相比，移位操作可以为通用硬件上的CNN带来实际的推理加速。我们分析了换档操作对SISR的好处，并基于Gumbel-Softmax技巧使换档方向易于学习。对于给定的预训练模型，我们首先将每个卷积层中的所有过滤器聚类，以识别用于生成固有特征的固有滤波器。鬼影特征将通过沿特定方向移动这些固有特征而得出。完整的输出特征是通过将固有特征和幻像特征连接在一起而构造的。在几个基准模型和数据集上进行的大量实验表明，嵌入到我们提议的模块中的非紧凑型轻量级SISR模型在降低参数，FLOP和GPU延迟方面都可以实现与其基线相当的性能。例如，我们将参数降低了EDSR x2网络的47％，将FLOPs降低了46％，将GPU延迟降低了41％，而性能却没有明显下降。鬼影特征将通过沿特定方向移动这些固有特征而得出。完整的输出特征是通过将固有特征和幻像特征连接在一起而构造的。在几个基准模型和数据集上进行的大量实验表明，嵌入到我们提议的模块中的非紧凑型轻量级SISR模型在降低参数，FLOP和GPU延迟方面都可以实现与其基线相当的性能。例如，我们将参数降低了EDSR x2网络的47％，将FLOPs降低了46％，将GPU延迟降低了41％，而性能却没有明显下降。鬼影特征将通过沿特定方向移动这些固有特征而得出。完整的输出特征是通过将固有特征和幻像特征连接在一起而构造的。在几个基准模型和数据集上进行的大量实验表明，嵌入到我们提议的模块中的非紧凑型轻量级SISR模型在降低参数，FLOP和GPU延迟方面都可以实现与其基线相当的性能。例如，我们将参数降低了EDSR x2网络的47％，将FLOPs降低了46％，将GPU延迟降低了41％，而性能却没有明显下降。在几个基准模型和数据集上进行的大量实验表明，嵌入到我们提议的模块中的非紧凑型轻量级SISR模型在降低参数，FLOP和GPU延迟方面都可以实现与其基线相当的性能。例如，我们将参数降低了EDSR x2网络的47％，将FLOPs降低了46％，将GPU延迟降低了41％，而性能却没有明显下降。在几个基准模型和数据集上进行的大量实验表明，嵌入到我们提议的模块中的非紧凑型轻量级SISR模型在降低参数，FLOP和GPU延迟方面都可以实现与其基线相当的性能。例如，我们将参数降低了EDSR x2网络的47％，将FLOPs降低了46％，将GPU延迟降低了41％，而性能却没有明显下降。