Heatmap representations have formed the basis of human pose estimation systems for many years, and their extension to 3D has been a fruitful line of recent research. This includes 2.5D volumetric heatmaps, whose X and Y axes correspond to image space and Z to metric depth around the subject. To obtain metric-scale predictions, 2.5D methods need a separate post-processing step to resolve scale ambiguity. Further, they cannot localize body joints outside the image boundaries, leading to incomplete estimates for truncated images. To address these limitations, we propose metric-scale truncation-robust (MeTRo) volumetric heatmaps, whose dimensions are all defined in metric 3D space, instead of being aligned with image space. This reinterpretation of heatmap dimensions allows us to directly estimate complete, metric-scale poses without test-time knowledge of distance or relying on anthropometric heuristics, such as bone lengths. To further demonstrate the utility our representation, we present a differentiable combination of our 3D metric-scale heatmaps with 2D image-space ones to estimate absolute 3D pose (our MeTRAbs architecture). We find that supervision via absolute pose loss is crucial for accurate non-root-relative localization. Using a ResNet-50 backbone without further learned layers, we obtain state-of-the-art results on Human3.6M, MPI-INF-3DHP and MuPoTS-3D. Our code will be made publicly available to facilitate further research.

中文翻译：

---

MeTRAbs：用于绝对 3D 人体姿势估计的度量尺度截断鲁棒热图

多年来，热图表示已经形成了人体姿势估计系统的基础，并且它们对 3D 的扩展是最近研究的一个富有成果的路线。这包括 2.5D 立体热图，其 X 轴和 Y 轴对应于图像空间，Z 轴对应于对象周围的度量深度。为了获得度量尺度预测，2.5D 方法需要一个单独的后处理步骤来解决尺度歧义。此外，它们无法定位图像边界外的身体关节，导致对截断图像的估计不完整。为了解决这些限制，我们提出了度量尺度截断鲁棒 (MeTRo) 体积热图，其维度都在度量 3D 空间中定义，而不是与图像空间对齐。这种对热图维度的重新解释使我们能够直接估计完整的、公制尺度姿势没有距离的测试时间知识或依赖人体测量启发式，例如骨骼长度。为了进一步证明我们的表示的效用，我们展示了我们的 3D 度量尺度热图与 2D 图像空间热图的可微组合，以估计绝对 3D 姿态（我们的 MeTRAbs 架构）。我们发现通过绝对姿态损失的监督对于准确的非根相对定位至关重要。使用没有进一步学习层的 ResNet-50 主干，我们在 Human3.6M、MPI-INF-3DHP 和 MuPoTS-3D 上获得了最先进的结果。我们的代码将公开以方便进一步研究。我们提出了我们的 3D 度量尺度热图与 2D 图像空间热图的可微组合，以估计绝对 3D 姿态（我们的 MeTRAbs 架构）。我们发现通过绝对姿态损失的监督对于准确的非根相对定位至关重要。使用没有进一步学习层的 ResNet-50 主干，我们在 Human3.6M、MPI-INF-3DHP 和 MuPoTS-3D 上获得了最先进的结果。我们的代码将公开提供以促进进一步研究。我们提出了我们的 3D 度量尺度热图与 2D 图像空间热图的可微组合，以估计绝对 3D 姿态（我们的 MeTRAbs 架构）。我们发现通过绝对姿态损失的监督对于准确的非根相对定位至关重要。使用没有进一步学习层的 ResNet-50 主干，我们在 Human3.6M、MPI-INF-3DHP 和 MuPoTS-3D 上获得了最先进的结果。我们的代码将公开提供以促进进一步研究。