This paper presents the overview and rationale behind the Decoder-Side Depth Estimation (DSDE) mode of the MPEG Immersive Video (MIV) standard, using the Geometry Absent profile, for efficient compression of immersive multiview video. A MIV bitstream generated by an encoder operating in the DSDE mode does not include depth maps. It only contains the information required to reconstruct them in the client or in the cloud: decoded views and metadata. The paper explains the technical details and techniques supported by this novel MIV DSDE mode. The description additionally includes the specification on Geometry Assistance Supplemental Enhancement Information which helps to reduce the complexity of depth estimation, when performed in the cloud or at the decoder side. The depth estimation in MIV is a non-normative part of the decoding process, therefore, any method can be used to compute the depth maps. This paper lists a set of requirements for depth estimation, induced by the specific characteristics of the DSDE. The depth estimation reference software, continuously and collaboratively developed with MIV to meet these requirements, is presented in this paper. Several original experimental results are presented. The efficiency of the DSDE is compared to two MIV profiles. The combined non-transmission of depth maps and efficient coding of textures enabled by the DSDE leads to efficient compression and rendering quality improvement compared to the usual encoder-side depth estimation. Moreover, results of the first evaluation of state-of-the-art multiview depth estimators in the DSDE context, including machine learning techniques, are presented.

中文翻译：

---

MPEG 沉浸式视频中解码器侧深度估计的概述和效率

本文介绍了 MPEG 沉浸式视频 (MIV) 标准的解码器端深度估计 (DSDE) 模式背后的概述和基本原理，该模式使用几何缺失配置文件来有效压缩沉浸式多视图视频。由在 DSDE 模式下运行的编码器生成的 MIV 比特流不包括深度图。它仅包含在客户端或云中重建它们所需的信息：解码视图和元数据。本文解释了这种新颖的 MIV DSDE 模式所支持的技术细节和技术。该描述还包括关于几何辅助补充增强信息的规范，当在云端或解码器端执行时，它有助于降低深度估计的复杂性。MIV 中的深度估计是解码过程的非规范部分，因此，任何方法都可以用来计算深度图。本文列出了一组深度估计的要求，这些要求是由 DSDE 的特定特性引起的。本文介绍了与 MIV 持续合作开发的深度估计参考软件，以满足这些要求。给出了几个原始的实验结果。DSDE 的效率与两个 MIV 配置文件进行了比较。与通常的编码器端深度估计相比，DSDE 支持的深度图不传输和纹理的有效编码相结合，导致有效的压缩和渲染质量改进。此外，还介绍了 DSDE 上下文中最先进的多视图深度估计器的首次评估结果，包括机器学习技术。本文列出了一组深度估计的要求，这些要求是由 DSDE 的特定特性引起的。本文介绍了与 MIV 持续合作开发的深度估计参考软件，以满足这些要求。给出了几个原始的实验结果。DSDE 的效率与两个 MIV 配置文件进行了比较。与通常的编码器端深度估计相比，DSDE 支持的深度图不传输和纹理的有效编码相结合，导致有效的压缩和渲染质量改进。此外，还介绍了 DSDE 上下文中最先进的多视图深度估计器的首次评估结果，包括机器学习技术。本文列出了一组深度估计的要求，这些要求是由 DSDE 的特定特性引起的。本文介绍了与 MIV 持续合作开发的深度估计参考软件，以满足这些要求。给出了几个原始的实验结果。DSDE 的效率与两个 MIV 配置文件进行了比较。与通常的编码器端深度估计相比，DSDE 支持的深度图不传输和纹理的有效编码相结合，导致有效的压缩和渲染质量改进。此外，还介绍了 DSDE 上下文中最先进的多视图深度估计器的首次评估结果，包括机器学习技术。由 DSDE 的特定特性引起。本文介绍了与 MIV 持续合作开发的深度估计参考软件，以满足这些要求。给出了几个原始的实验结果。DSDE 的效率与两个 MIV 配置文件进行了比较。与通常的编码器端深度估计相比，DSDE 支持的深度图不传输和纹理的有效编码相结合，导致有效的压缩和渲染质量改进。此外，还介绍了 DSDE 上下文中最先进的多视图深度估计器的首次评估结果，包括机器学习技术。由 DSDE 的特定特性引起。本文介绍了与 MIV 持续合作开发的深度估计参考软件，以满足这些要求。给出了几个原始的实验结果。DSDE 的效率与两个 MIV 配置文件进行了比较。与通常的编码器端深度估计相比，DSDE 支持的深度图不传输和纹理的有效编码相结合，导致有效的压缩和渲染质量改进。此外，还介绍了 DSDE 上下文中最先进的多视图深度估计器的首次评估结果，包括机器学习技术。给出了几个原始的实验结果。DSDE 的效率与两个 MIV 配置文件进行了比较。与通常的编码器端深度估计相比，DSDE 支持的深度图不传输和纹理的有效编码相结合，导致有效的压缩和渲染质量改进。此外，还介绍了 DSDE 上下文中最先进的多视图深度估计器的首次评估结果，包括机器学习技术。给出了几个原始的实验结果。DSDE 的效率与两个 MIV 配置文件进行了比较。与通常的编码器端深度估计相比，DSDE 支持的深度图不传输和纹理的有效编码相结合，导致有效的压缩和渲染质量改进。此外，还介绍了 DSDE 上下文中最先进的多视图深度估计器的首次评估结果，包括机器学习技术。