The past few years have witnessed increasing interests in applying deep learning to video compression. However, the existing approaches compress a video frame with only a few number of reference frames, which limits their ability to fully exploit the temporal correlation among video frames. To overcome this shortcoming, this paper proposes a Recurrent Learned Video Compression (RLVC) approach with the Recurrent Auto-Encoder (RAE) and Recurrent Probability Model (RPM). Specifically, the RAE employs recurrent cells in both the encoder and decoder. As such, the temporal information in a large range of frames can be used for generating latent representations and reconstructing compressed outputs. Furthermore, the proposed RPM network recurrently estimates the Probability Mass Function (PMF) of the latent representation, conditioned on the distribution of previous latent representations. Due to the correlation among consecutive frames, the conditional cross entropy can be lower than the independent cross entropy, thus reducing the bit-rate. The experiments show that our approach achieves the state-of-the-art learned video compression performance in terms of both PSNR and MS-SSIM. Moreover, our approach outperforms the default Low-Delay P (LDP) setting of x265 on PSNR, and also has better performance on MS-SSIM than the SSIM-tuned x265 and the slowest setting of x265.

中文翻译：

---

使用循环自动编码器和循环概率模型学习视频压缩

过去几年，人们对将深度学习应用于视频压缩越来越感兴趣。然而，现有方法仅使用少量参考帧来压缩视频帧，这限制了它们充分利用视频帧之间的时间相关性的能力。为了克服这个缺点，本文提出了一种具有循环自动编码器 (RAE) 和循环概率模型 (RPM) 的循环学习视频压缩 (RLVC) 方法。具体来说，RAE 在编码器和解码器中都使用循环单元。因此，大范围帧中的时间信息可用于生成潜在表示和重建压缩输出。此外，提议的 RPM 网络反复估计潜在表示的概率质量函数（PMF），以先前潜在表示的分布为条件。由于连续帧之间的相关性，条件交叉熵可以低于独立交叉熵，从而降低比特率。实验表明，我们的方法在 PSNR 和 MS-SSIM 方面都达到了最先进的学习视频压缩性能。此外，我们的方法在 PSNR 上优于 x265 的默认低延迟 P (LDP) 设置，并且在 MS-SSIM 上的性能也比 SSIM 调整的 x265 和 x265 的最慢设置更好。实验表明，我们的方法在 PSNR 和 MS-SSIM 方面都达到了最先进的学习视频压缩性能。此外，我们的方法在 PSNR 上优于 x265 的默认低延迟 P (LDP) 设置，并且在 MS-SSIM 上的性能也比 SSIM 调整的 x265 和 x265 的最慢设置更好。实验表明，我们的方法在 PSNR 和 MS-SSIM 方面都达到了最先进的学习视频压缩性能。此外，我们的方法在 PSNR 上优于 x265 的默认低延迟 P (LDP) 设置，并且在 MS-SSIM 上的性能也比 SSIM 调整的 x265 和 x265 的最慢设置更好。