当前位置: X-MOL 学术IEEE Trans. Broadcast. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Lightweight Super-Resolution Using Deep Neural Learning
IEEE Transactions on Broadcasting ( IF 4.5 ) Pub Date : 2020-12-01 , DOI: 10.1109/tbc.2020.2977513
Zhuqing Jiang , Honghui Zhu , Yue Lu , Guodong Ju , Aidong Men

There is a gap between recent development of 4K display technologies and the short storage of 4K contents. Super-Resolution (SR) serves as a bridge to harmonize the need and demand. Recently, Convolutional Neural Network (CNN) based networks have demonstrated great property in image SR. However, most existing methods require large model capacity and consume expensive computation for high performance. Besides, most methods keep the upscaling part relatively simple compared with the feature extraction part. For feature fusion, some methods directly concatenate the features of multi-levels, which is suboptimal due to ignoring the importance of different features. In this work, we propose a recursive multi-stage upscaling network (RMUN) with multiple sub-upscaling modules (SUMs) and a discriminative self-ensemble module (SEM). Specifically, we extract local hierarchical features by using a novel feature extraction module (FEM) which is recursive to reduce the number of parameters. Then, we construct multiple sub-upscaling modules to produce various high-resolution features in forward propagation. This strategy enhances the upscaling part and provides multiple error feedback routes. Furthermore, we employ an SEM for global hierarchical feature recalibration, which can selectively emphasize informative features and surpass less useful ones. Extensive quantitative and qualitative evaluations on benchmark datasets show that our proposed method performs comparable with the state-of-the-art methods in terms of the balance of model size and model performance.

中文翻译:

使用深度神经学习的轻量级超分辨率

4K 显示技术的最新发展与 4K 内容的短存储之间存在差距。超分辨率 (SR) 充当协调需求和需求的桥梁。最近,基于卷积神经网络 (CNN) 的网络在图像 SR 中表现出很大的特性。然而,大多数现有方法需要大模型容量并消耗昂贵的计算以获得高性能。此外,与特征提取部分相比,大多数方法保持放大部分相对简单。对于特征融合,一些方法直接将多层次的特征串联起来,由于忽略了不同特征的重要性,这是次优的。在这项工作中,我们提出了一个具有多个子升级模块(SUM)和一个判别自集成模块(SEM)的递归多级升级网络(RMUN)。具体来说,我们通过使用一种新颖的特征提取模块(FEM)来提取局部层次特征,该模块是递归的以减少参数数量。然后,我们构建多个子放大模块以在前向传播中产生各种高分辨率特征。该策略增强了升级部分并提供了多个错误反馈路径。此外,我们采用 SEM 进行全局分层特征重新校准,它可以选择性地强调信息特征并超越不太有用的特征。对基准数据集的大量定量和定性评估表明,我们提出的方法在模型大小和模型性能的平衡方面与最先进的方法相当。然后,我们构建多个子放大模块以在前向传播中产生各种高分辨率特征。该策略增强了升级部分并提供了多个错误反馈路径。此外,我们采用 SEM 进行全局分层特征重新校准,它可以选择性地强调信息特征并超越不太有用的特征。对基准数据集的大量定量和定性评估表明,我们提出的方法在模型大小和模型性能的平衡方面与最先进的方法相当。然后,我们构建多个子放大模块以在前向传播中产生各种高分辨率特征。该策略增强了升级部分并提供了多个错误反馈路径。此外,我们采用 SEM 进行全局分层特征重新校准,它可以选择性地强调信息特征并超越不太有用的特征。对基准数据集的大量定量和定性评估表明,我们提出的方法在模型大小和模型性能的平衡方面与最先进的方法相当。我们使用 SEM 进行全局分层特征重新校准,它可以选择性地强调信息特征并超越不太有用的特征。对基准数据集的大量定量和定性评估表明,我们提出的方法在模型大小和模型性能的平衡方面与最先进的方法相当。我们使用 SEM 进行全局分层特征重新校准,它可以选择性地强调信息特征并超越不太有用的特征。对基准数据集的大量定量和定性评估表明,我们提出的方法在模型大小和模型性能的平衡方面与最先进的方法相当。
更新日期:2020-12-01
down
wechat
bug