当前位置: X-MOL 学术arXiv.cs.CV › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Improving Robustness and Accuracy via Relative Information Encoding in 3D Human Pose Estimation
arXiv - CS - Computer Vision and Pattern Recognition Pub Date : 2021-07-29 , DOI: arxiv-2107.13994
Wenkang Shan, Haopeng Lu, Shanshe Wang, Xinfeng Zhang, Wen Gao

Most of the existing 3D human pose estimation approaches mainly focus on predicting 3D positional relationships between the root joint and other human joints (local motion) instead of the overall trajectory of the human body (global motion). Despite the great progress achieved by these approaches, they are not robust to global motion, and lack the ability to accurately predict local motion with a small movement range. To alleviate these two problems, we propose a relative information encoding method that yields positional and temporal enhanced representations. Firstly, we encode positional information by utilizing relative coordinates of 2D poses to enhance the consistency between the input and output distribution. The same posture with different absolute 2D positions can be mapped to a common representation. It is beneficial to resist the interference of global motion on the prediction results. Second, we encode temporal information by establishing the connection between the current pose and other poses of the same person within a period of time. More attention will be paid to the movement changes before and after the current pose, resulting in better prediction performance on local motion with a small movement range. The ablation studies validate the effectiveness of the proposed relative information encoding method. Besides, we introduce a multi-stage optimization method to the whole framework to further exploit the positional and temporal enhanced representations. Our method outperforms state-of-the-art methods on two public datasets. Code is available at https://github.com/paTRICK-swk/Pose3D-RIE.

中文翻译:

通过 3D 人体姿势估计中的相对信息编码提高鲁棒性和准确性

大多数现有的 3D 人体姿态估计方法主要侧重于预测根关节和其他人体关节之间的 3D 位置关系(局部运动),而不是人体的整体轨迹(全局运动)。尽管这些方法取得了很大的进步,但它们对全局运动并不鲁棒,并且缺乏在小运动范围内准确预测局部运动的能力。为了缓解这两个问题,我们提出了一种产生位置和时间增强表示的相对信息编码方法。首先,我们利用二维姿态的相对坐标对位置信息进行编码,以增强输入和输出分布之间的一致性。具有不同绝对 2D 位置的相同姿势可以映射到公共表示。有利于抵抗全局运动对预测结果的干扰。其次,我们通过在一段时间内建立同一人的当前姿势和其他姿势之间的联系来编码时间信息。将更多地关注当前姿势前后的运动变化,从而对运动范围较小的局部运动有更好的预测性能。消融研究验证了所提出的相关信息编码方法的有效性。此外,我们在整个框架中引入了多阶段优化方法,以进一步利用位置和时间增强表示。我们的方法在两个公共数据集上优于最先进的方法。代码可在 https://github.com/paTRICK-swk/Pose3D-RIE 获得。其次,我们通过在一段时间内建立同一人的当前姿势和其他姿势之间的联系来编码时间信息。将更多地关注当前姿势前后的运动变化,从而对运动范围较小的局部运动有更好的预测性能。消融研究验证了所提出的相关信息编码方法的有效性。此外,我们在整个框架中引入了多阶段优化方法,以进一步利用位置和时间增强表示。我们的方法在两个公共数据集上优于最先进的方法。代码可在 https://github.com/paTRICK-swk/Pose3D-RIE 获得。其次,我们通过在一段时间内建立同一人的当前姿势和其他姿势之间的联系来编码时间信息。将更多地关注当前姿势前后的运动变化,从而对运动范围较小的局部运动有更好的预测性能。消融研究验证了所提出的相关信息编码方法的有效性。此外,我们在整个框架中引入了多阶段优化方法,以进一步利用位置和时间增强表示。我们的方法在两个公共数据集上优于最先进的方法。代码可在 https://github.com/paTRICK-swk/Pose3D-RIE 获得。我们通过在一段时间内建立同一人的当前姿势和其他姿势之间的联系来编码时间信息。将更多地关注当前姿势前后的运动变化,从而对运动范围较小的局部运动有更好的预测性能。消融研究验证了所提出的相关信息编码方法的有效性。此外,我们在整个框架中引入了多阶段优化方法,以进一步利用位置和时间增强表示。我们的方法在两个公共数据集上优于最先进的方法。代码可在 https://github.com/paTRICK-swk/Pose3D-RIE 获得。我们通过在一段时间内建立同一人的当前姿势和其他姿势之间的联系来编码时间信息。将更多地关注当前姿势前后的运动变化,从而对运动范围较小的局部运动有更好的预测性能。消融研究验证了所提出的相关信息编码方法的有效性。此外,我们在整个框架中引入了多阶段优化方法,以进一步利用位置和时间增强表示。我们的方法在两个公共数据集上优于最先进的方法。代码可在 https://github.com/paTRICK-swk/Pose3D-RIE 获得。从而对运动范围较小的局部运动产生更好的预测性能。消融研究验证了所提出的相关信息编码方法的有效性。此外,我们在整个框架中引入了多阶段优化方法,以进一步利用位置和时间增强表示。我们的方法在两个公共数据集上优于最先进的方法。代码可在 https://github.com/paTRICK-swk/Pose3D-RIE 获得。从而对运动范围较小的局部运动产生更好的预测性能。消融研究验证了所提出的相关信息编码方法的有效性。此外,我们在整个框架中引入了多阶段优化方法,以进一步利用位置和时间增强表示。我们的方法在两个公共数据集上优于最先进的方法。代码可在 https://github.com/paTRICK-swk/Pose3D-RIE 获得。
更新日期:2021-07-30
down
wechat
bug