For high compression efficiency, 3-D video coding usually employs a multimode methodology to exploit the dependencies between multiple views as well as between texture and depth. However, different coding modes will posses differentiating error propagation behaviour when the compressed 3-D video bit stream is transmitted over packet-switched networks, and thus lead to different amount of visual distortions. Further, the texture and depth distortions are combined in a highly complex fashion to produce the overall view synthesis distortion. To minimize the expected view synthesis distortion, this paper proposes an efficient rate-distortion optimized algorithm for joint selection of texture and depth modes. Firstly, a statistical model is developed to estimate the overall view synthesis distortion, in which the channel distortions caused by error propagation under different coding modes are analyzed. Then, joint optimization of texture and depth modes is derived within an operational rate-distortion framework using the Lagrange multiplier method. The adjacent block dependency caused by warping operation is explicitly considered in optimization, for which we develop a dynamic programming method to find the optimal solution. Finally, we extend the Lagrange minimization method to the more general variable-block-size prediction case, where the optimal quadtree tree structure and the combined coding modes are jointly determined using a multi-level dual trellis. Experimental results are presented for a wide range of packet loss rates to illustrate the effectiveness of the proposed algorithm.

中文翻译：

---

用于 3-D 视频流的速率失真最优联合纹理和深度图编码

为了获得高压缩效率，3-D 视频编码通常采用多模式方法来利用多个视图之间以及纹理和深度之间的依赖关系。然而，当压缩的 3-D 视频比特流通过分组交换网络传输时，不同的编码模式会产生不同的错误传播行为，从而导致不同程度的视觉失真。此外，纹理和深度失真以高度复杂的方式组合以产生整体视图合成失真。为了最小化预期的视图合成失真，本文提出了一种有效的速率失真优化算法，用于纹理和深度模式的联合选择。首先，开发统计模型来估计整体视图合成失真，其中分析了不同编码模式下误码传播引起的信道失真。然后，使用拉格朗日乘法器方法在操作率失真框架内推导出纹理和深度模式的联合优化。优化中明确考虑了由翘曲操作引起的相邻块依赖性，为此我们开发了一种动态规划方法来寻找最优解。最后，我们将拉格朗日最小化方法扩展到更一般的可变块大小预测情况，其中最佳四叉树结构和组合编码模式使用多级双网格联合确定。实验结果给出了大范围的丢包率，以说明所提出算法的有效性。纹理和深度模式的联合优化是在使用拉格朗日乘法器方法的操作率失真框架内推导出来的。优化中明确考虑了由翘曲操作引起的相邻块依赖性，为此我们开发了一种动态规划方法来寻找最优解。最后，我们将拉格朗日最小化方法扩展到更一般的可变块大小预测情况，其中最佳四叉树结构和组合编码模式使用多级双网格联合确定。实验结果给出了大范围的丢包率，以说明所提出算法的有效性。纹理和深度模式的联合优化是在使用拉格朗日乘法器方法的操作率失真框架内推导出来的。优化中明确考虑了由翘曲操作引起的相邻块依赖性，为此我们开发了一种动态规划方法来寻找最优解。最后，我们将拉格朗日最小化方法扩展到更一般的可变块大小预测情况，其中最佳四叉树结构和组合编码模式使用多级双网格联合确定。实验结果给出了大范围的丢包率，以说明所提出算法的有效性。优化中明确考虑了由翘曲操作引起的相邻块依赖性，为此我们开发了一种动态规划方法来寻找最优解。最后，我们将拉格朗日最小化方法扩展到更一般的可变块大小预测情况，其中最佳四叉树结构和组合编码模式使用多级双网格联合确定。实验结果给出了大范围的丢包率，以说明所提出算法的有效性。优化中明确考虑了由翘曲操作引起的相邻块依赖性，为此我们开发了一种动态规划方法来寻找最优解。最后，我们将拉格朗日最小化方法扩展到更一般的可变块大小预测情况，其中最佳四叉树结构和组合编码模式使用多级双网格联合确定。实验结果给出了大范围的丢包率，以说明所提出算法的有效性。其中最优四叉树结构和组合编码模式使用多级双格子联合确定。实验结果给出了大范围的丢包率，以说明所提出算法的有效性。其中最优四叉树结构和组合编码模式使用多级双格子联合确定。实验结果给出了大范围的丢包率，以说明所提出算法的有效性。