当前位置: X-MOL 学术J. Sign. Process. Syst. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Closed-loop Feedback Network with Cross Back-Projection for Lightweight Image Super-Resolution
Journal of Signal Processing Systems ( IF 1.6 ) Pub Date : 2022-05-17 , DOI: 10.1007/s11265-022-01764-5
Beibei Wang , Changjun Liu , Seunggil Jeon , Xiaomin Yang

Since the development of deep learning, image super-resolution (SR) has made great progress, and become the focus of academic research. Because high-level features are more informative for the reconstruction, most SR networks have a large number of layers and parameters, which restrict their application in resource-constrained devices. Recently, lightweight networks got a lot attention for their broad application prospect. To improve the performance of lightweight networks by informative high-level features, we introduce feedback mechanism into our method, which can feed back high-level features to refine low-level ones. In this paper, we propose a closed-loop feedback network with cross back-projection for lightweight image super-resolution (CCFN), which uses feedback mechanism in three manners. First, based on error feedback, we propose a cross back-projection feedback block (CFB). CFB uses error feedback to correct the features of multi-scale fusion, which also can be viewed as two cross-learning back-projection units. Second, CFB works in a self-feedback manner, which feeds back the output high-level features to refine the low-level ones of the input. Third, we propose a global feedback, which feeds back the degradation results of SR to LR, to guide the learning of mapping functions from LR to HR. Finally, we use attention-based model as the basic block in CFB, and since our method works in an iterative manner, recursive concatenation is more suitable than multi-reconstruction. The final experimental results show that our CCFN has a competitive performance with few parameters.



中文翻译:

具有交叉反投影的闭环反馈网络用于轻量级图像超分辨率

自深度学习发展以来,图像超分辨率(SR)取得了长足的进步,成为学术研究的焦点。由于高级特征对于重建来说信息量更大,大多数 SR 网络具有大量的层和参数,这限制了它们在资源受限设备中的应用。近年来,轻量级网络因其广阔的应用前景而备受关注。为了通过信息丰富的高级特征来提高轻量级网络的性能,我们在我们的方法中引入了反馈机制,它可以反馈高级特征来细化低级特征。在本文中,我们提出了一种具有交叉反投影的闭环反馈网络,用于轻量级图像超分辨率(CCFN),它以三种方式使用反馈机制。首先,基于错误反馈,我们提出了一个交叉反投影反馈块(CFB)。CFB利用误差反馈来修正多尺度融合的特征,也可以看作是两个交叉学习的反投影单元。其次,CFB 以自我反馈的方式工作,它反馈输出的高级特征以细化输入的低级特征。第三,我们提出了一个全局反馈,将 SR 的退化结果反馈到 LR,以指导学习从 LR 到 HR 的映射函数。最后,我们使用基于注意力的模型作为 CFB 中的基本块,并且由于我们的方法以迭代方式工作,递归连接比多重重建更适合。最终的实验结果表明,我们的 CCFN 在参数很少的情况下具有竞争性能。CFB利用误差反馈来修正多尺度融合的特征,也可以看作是两个交叉学习的反投影单元。其次,CFB 以自我反馈的方式工作,它反馈输出的高级特征以细化输入的低级特征。第三,我们提出了一个全局反馈,将 SR 的退化结果反馈到 LR,以指导学习从 LR 到 HR 的映射函数。最后,我们使用基于注意力的模型作为 CFB 中的基本块,并且由于我们的方法以迭代方式工作,递归连接比多重重建更适合。最终的实验结果表明,我们的 CCFN 在参数很少的情况下具有竞争性能。CFB利用误差反馈来修正多尺度融合的特征,也可以看作是两个交叉学习的反投影单元。其次,CFB 以自我反馈的方式工作,它反馈输出的高级特征以细化输入的低级特征。第三,我们提出了一个全局反馈,将 SR 的退化结果反馈到 LR,以指导学习从 LR 到 HR 的映射函数。最后,我们使用基于注意力的模型作为 CFB 中的基本块,并且由于我们的方法以迭代方式工作,递归连接比多重重建更适合。最终的实验结果表明,我们的 CCFN 在参数很少的情况下具有竞争性能。它反馈输出的高级特征以细化输入的低级特征。第三,我们提出了一个全局反馈,将 SR 的退化结果反馈到 LR,以指导学习从 LR 到 HR 的映射函数。最后,我们使用基于注意力的模型作为 CFB 中的基本块,并且由于我们的方法以迭代方式工作,递归连接比多重重建更适合。最终的实验结果表明,我们的 CCFN 在参数很少的情况下具有竞争性能。它反馈输出的高级特征以细化输入的低级特征。第三,我们提出了一个全局反馈,将 SR 的退化结果反馈到 LR,以指导学习从 LR 到 HR 的映射函数。最后,我们使用基于注意力的模型作为 CFB 中的基本块,并且由于我们的方法以迭代方式工作,递归连接比多重重建更适合。最终的实验结果表明,我们的 CCFN 在参数很少的情况下具有竞争性能。并且由于我们的方法以迭代方式工作,递归连接比多重重构更合适。最终的实验结果表明,我们的 CCFN 在参数很少的情况下具有竞争性能。并且由于我们的方法以迭代方式工作,递归连接比多重重构更合适。最终的实验结果表明,我们的 CCFN 在参数很少的情况下具有竞争性能。

更新日期:2022-05-18
down
wechat
bug