当前位置:
X-MOL 学术
›
IEEE Trans. Circ. Syst. Video Technol.
›
论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Towards More Realistic Human Motion Prediction With Attention to Motion Coordination
IEEE Transactions on Circuits and Systems for Video Technology ( IF 8.4 ) Pub Date : 2022-03-31 , DOI: 10.1109/tcsvt.2022.3163782 Pengxiang Ding , Jianqin Yin
IEEE Transactions on Circuits and Systems for Video Technology ( IF 8.4 ) Pub Date : 2022-03-31 , DOI: 10.1109/tcsvt.2022.3163782 Pengxiang Ding , Jianqin Yin
Joint relation modeling is a curial component in human motion prediction. Most existing methods rely on skeletal-based graphs to build the joint relations, where local interactive relations between joint pairs are well learned. However, the motion coordination, a global joint relation reflecting the simultaneous cooperation of all joints, is usually weakened because it is learned from part to whole progressively and asynchronously. Thus, the final predicted motions usually appear unrealistic. To tackle this issue, we learn a medium, called coordination attractor (CA), from the spatiotemporal features of motion to characterize the global motion features, which is subsequently used to build new relative joint relations. Through the CA, all joints are related simultaneously, and thus the motion coordination of all joints can be better learned. Based on this, we further propose a novel joint relation modeling module, Comprehensive Joint Relation Extractor (CJRE), to combine this motion coordination with the local interactions between joint pairs in a unified manner. Additionally, we also present a Multi-timescale Dynamics Extractor (MTDE) to extract enriched dynamics from the raw position information for effective prediction. Extensive experiments show that the proposed framework outperforms state-of-the-art methods in both short- and long-term predictions on H3.6M, CMU-Mocap, and 3DPW.
中文翻译:
关注运动协调,实现更逼真的人体运动预测
关节关系建模是人体运动预测中的重要组成部分。大多数现有方法依赖于基于骨架的图来建立关节关系,其中关节对之间的局部交互关系得到了很好的学习。然而,运动协调,一种反映所有关节同时协作的全局关节关系,通常被削弱,因为它是从部分到整体逐步和异步地学习的。因此,最终预测的运动通常显得不切实际。为了解决这个问题,我们从运动的时空特征中学习了一种称为协调吸引子(CA)的媒介,以表征全局运动特征,随后用于建立新的相对关节关系。通过CA,所有关节同时关联,从而可以更好地学习所有关节的运动协调。基于此,我们进一步提出了一种新颖的关节关系建模模块,即综合关节关系提取器(CJRE),以统一的方式将这种运动协调与关节对之间的局部交互结合起来。此外,我们还提出了一个多时间尺度动态提取器(MTDE),以从原始位置信息中提取丰富的动态,以进行有效的预测。大量实验表明,所提出的框架在 H3.6M、CMU-Mocap 和 3DPW 的短期和长期预测中都优于最先进的方法。我们还提出了一个多时间尺度动态提取器(MTDE),以从原始位置信息中提取丰富的动态,以进行有效的预测。大量实验表明,所提出的框架在 H3.6M、CMU-Mocap 和 3DPW 的短期和长期预测中都优于最先进的方法。我们还提出了一个多时间尺度动态提取器(MTDE),以从原始位置信息中提取丰富的动态,以进行有效的预测。大量实验表明,所提出的框架在 H3.6M、CMU-Mocap 和 3DPW 的短期和长期预测中都优于最先进的方法。
更新日期:2022-03-31
中文翻译:
关注运动协调,实现更逼真的人体运动预测
关节关系建模是人体运动预测中的重要组成部分。大多数现有方法依赖于基于骨架的图来建立关节关系,其中关节对之间的局部交互关系得到了很好的学习。然而,运动协调,一种反映所有关节同时协作的全局关节关系,通常被削弱,因为它是从部分到整体逐步和异步地学习的。因此,最终预测的运动通常显得不切实际。为了解决这个问题,我们从运动的时空特征中学习了一种称为协调吸引子(CA)的媒介,以表征全局运动特征,随后用于建立新的相对关节关系。通过CA,所有关节同时关联,从而可以更好地学习所有关节的运动协调。基于此,我们进一步提出了一种新颖的关节关系建模模块,即综合关节关系提取器(CJRE),以统一的方式将这种运动协调与关节对之间的局部交互结合起来。此外,我们还提出了一个多时间尺度动态提取器(MTDE),以从原始位置信息中提取丰富的动态,以进行有效的预测。大量实验表明,所提出的框架在 H3.6M、CMU-Mocap 和 3DPW 的短期和长期预测中都优于最先进的方法。我们还提出了一个多时间尺度动态提取器(MTDE),以从原始位置信息中提取丰富的动态,以进行有效的预测。大量实验表明,所提出的框架在 H3.6M、CMU-Mocap 和 3DPW 的短期和长期预测中都优于最先进的方法。我们还提出了一个多时间尺度动态提取器(MTDE),以从原始位置信息中提取丰富的动态,以进行有效的预测。大量实验表明,所提出的框架在 H3.6M、CMU-Mocap 和 3DPW 的短期和长期预测中都优于最先进的方法。