当前位置: X-MOL 学术IEEE Trans. Signal Process. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Generative Models for Low-Dimensional Video Representation and Reconstruction
IEEE Transactions on Signal Processing ( IF 5.4 ) Pub Date : 2020-02-28 , DOI: 10.1109/tsp.2020.2977256
Rakib Hyder , M. Salman Asif

Generative models have received considerable attention in signal processing and compressive sensing for their ability to generate high-dimensional natural image using low-dimensional codes. In the context of compressive sensing, if the unknown image belongs to the range of a pretrained generative network, then we can recover the image by estimating the underlying compact latent code from the available measurements. In practice, however, a given pretrained generator can only reliably generate images that are similar to the training data. To overcome this challenge, a number of methods have been proposed recently to use untrained generator structure as prior while solving the signal recovery problem. In this paper, we propose a similar method for jointly updating the weights of the generator and latent codes while recovering a video sequence from compressive measurements. We use a single generator to generate the entire video. To exploit the temporal redundancy in a video sequence, we use a low-rank constraint on the latent codes that imposes a low-dimensional manifold model on the generated video sequence. We evaluate the performance of our proposed methods on different video compressive sensing problems under different settings and compared them against some state-of-the-art methods. Our results demonstrate that our proposed methods provide better or comparable accuracy and low computational and memory complexity compared to the existing methods.

中文翻译:

低维视频表示和重构的生成模型

生成模型因其使用低维代码生成高维自然图像的能力而在信号处理和压缩感测中受到了广泛关注。在压缩感测的情况下,如果未知图像属于预训练的生成网络的范围,那么我们可以通过从可用的测量值中估算潜在的紧凑型潜在代码来恢复图像。然而,实际上,给定的预训练生成器只能可靠地生成与训练数据相似的图像。为了克服这一挑战,近来已经提出了许多方法来使用未训练的发生器结构作为先验,同时解决信号恢复问题。在本文中,我们提出了一种类似的方法,用于在从压缩测量中恢复视频序列的同时联合更新生成器和潜在代码的权重。我们使用一个生成器来生成整个视频。为了利用视频序列中的时间冗余,我们对潜码使用低秩约束,该约束将低维流形模型强加到生成的视频序列上。我们评估了我们提出的方法在不同设置下对不同视频压缩感测问题的性能,并将它们与某些最新方法进行了比较。我们的结果表明,与现有方法相比,我们提出的方法可提供更好或相当的准确性,并且计算和内存复杂度较低。为了利用视频序列中的时间冗余,我们对潜码使用了低秩约束,该约束在生成的视频序列上施加了低维流形模型。我们评估了我们提出的方法在不同设置下对不同视频压缩感测问题的性能,并将它们与某些最新方法进行了比较。我们的结果表明,与现有方法相比,我们提出的方法可提供更好或相当的准确性,并且计算和内存复杂度较低。为了利用视频序列中的时间冗余,我们对潜码使用低秩约束,该约束将低维流形模型强加到生成的视频序列上。我们评估了我们提出的方法在不同设置下对不同视频压缩感测问题的性能,并将它们与某些最新方法进行了比较。我们的结果表明,与现有方法相比,我们提出的方法可提供更好或相当的准确性,并且计算和内存复杂度较低。我们评估了我们提出的方法在不同设置下对不同视频压缩感测问题的性能,并将它们与某些最新方法进行了比较。我们的结果表明,与现有方法相比,我们提出的方法可提供更好或相当的准确性,并且计算和内存复杂度较低。我们评估了我们提出的方法在不同设置下针对不同视频压缩感测问题的性能,并将其与某些最新方法进行了比较。我们的结果表明,与现有方法相比,我们提出的方法可提供更好或相当的准确性,并且计算和内存复杂度较低。
更新日期:2020-04-22
down
wechat
bug