Abstract Deep spatio-temporal neural networks have shown promising performance for video super-resolution (VSR) in recent years. However, most of them heavily rely on accuracy motion estimations. In this paper, we propose a novel spatio-temporal matching network (STMN) for video super-resolution, which works on the wavelet domain to reduce dependence on motion estimations. Specifically, our STMN consists of three major components: a temporal fusion wavelet network (TFWN), a non-local matching network (NLMN), and a global wavelet domain residual connection (GWDRC). TFWN adaptively extracts temporal fusion wavelet maps via three 3d convolutional layers and a discrete wavelet transform (DWT) decomposition layer. The extracted temporal fusion wavelet maps are rich in spatial information and knowledge of different frequencies from consecutive frames, which are feed to NLMN for learning deep wavelet representations. NLMN integrates super-resolution and denoising into a unified module by pyramidally stacking non-local matching residual blocks (NLMRB). At last, GWDRC reconstructs the super-resolved frames from the deep wavelet representations by using global wavelet domain residual information. Consequently, our STMN can efficiently enhance reconstruction quality by capturing different frequencies wavelet representations in consecutive frames, and does not require any motion compensation. Extensive experiments conducted on benchmark datasets demonstrate the effectiveness of our method compared with state-of-the-art methods.

中文翻译：

---

基于时空匹配网络的视频超分辨率

摘要 近年来，深度时空神经网络在视频超分辨率（VSR）方面表现出良好的性能。然而，它们中的大多数严重依赖于精确的运动估计。在本文中，我们提出了一种用于视频超分辨率的新型时空匹配网络 (STMN)，它在小波域上工作以减少对运动估计的依赖。具体来说，我们的STMN由三个主要部分组成：时间融合小波网络（TFWN）、非局部匹配网络（NLMN）和全局小波域残差连接（GWDRC）。TFWN 通过三个 3d 卷积层和一个离散小波变换 (DWT) 分解层自适应地提取时间融合小波图。提取的时间融合小波图具有丰富的空间信息和连续帧不同频率的知识，它们被馈送到 NLMN 以学习深度小波表示。NLMN 通过金字塔式堆叠非局部匹配残差块 (NLMRB) 将超分辨率和去噪集成到一个统一模块中。最后，GWDRC 使用全局小波域残差信息从深层小波表示中重建超分辨帧。因此，我们的STMN可以通过在连续帧中捕获不同频率的小波表示来有效地提高重建质量，并且不需要任何运动补偿。在基准数据集上进行的大量实验证明了我们的方法与最先进的方法相比的有效性。NLMN 通过金字塔式堆叠非局部匹配残差块 (NLMRB) 将超分辨率和去噪集成到一个统一模块中。最后，GWDRC 使用全局小波域残差信息从深层小波表示中重建超分辨帧。因此，我们的STMN可以通过在连续帧中捕获不同频率的小波表示来有效地提高重建质量，并且不需要任何运动补偿。在基准数据集上进行的大量实验证明了我们的方法与最先进的方法相比的有效性。NLMN 通过金字塔式堆叠非局部匹配残差块 (NLMRB) 将超分辨率和去噪集成到一个统一模块中。最后，GWDRC 使用全局小波域残差信息从深层小波表示中重建超分辨帧。因此，我们的STMN可以通过在连续帧中捕获不同频率的小波表示来有效地提高重建质量，并且不需要任何运动补偿。在基准数据集上进行的大量实验证明了我们的方法与最先进的方法相比的有效性。我们的STMN可以通过在连续帧中捕获不同频率的小波表示来有效地提高重建质量，并且不需要任何运动补偿。在基准数据集上进行的大量实验证明了我们的方法与最先进的方法相比的有效性。我们的STMN可以通过在连续帧中捕获不同频率的小波表示来有效地提高重建质量，并且不需要任何运动补偿。在基准数据集上进行的大量实验证明了我们的方法与最先进的方法相比的有效性。