We present a new method to capture detailed human motion, sampling more than 1000 unique points on the body. Our method outputs highly accurate 4D (spatio-temporal) point coordinates and, crucially, automatically assigns a unique label to each of the points. The locations and unique labels of the points are inferred from individual 2D input images only, without relying on temporal tracking or any human body shape or skeletal kinematics models. Therefore, our captured point trajectories contain all of the details from the input images, including motion due to breathing, muscle contractions and flesh deformation, and are well suited to be used as training data to fit advanced models of the human body and its motion. The key idea behind our system is a new type of motion capture suit which contains a special pattern with checkerboard-like corners and two-letter codes. The images from our multi-camera system are processed by a sequence of neural networks which are trained to localize the corners and recognize the codes, while being robust to suit stretching and self-occlusions of the body. Our system relies only on standard RGB or monochrome sensors and fully passive lighting and the passive suit, making our method easy to replicate, deploy and use. Our experiments demonstrate highly accurate captures of a wide variety of human poses, including challenging motions such as yoga, gymnastics, or rolling on the ground.

中文翻译：

---

捕获移动人体的详细变形

我们提出了一种捕获详细人体运动的新方法，对人体上的1000多个唯一点进行了采样。我们的方法输出高度精确的4D（时空）点坐标，并且至关重要的是，自动为每个点分配唯一的标签。点的位置和唯一标记仅从单个2D输入图像中推断出来，而无需依赖于时间跟踪或任何人体形状或骨骼运动学模型。因此，我们捕获的点轨迹包含输入图像中的所有细节，包括由于呼吸，肌肉收缩和肉体变形引起的运动，非常适合用作训练数据以适合人体及其运动的高级模型。我们系统背后的关键思想是一种新型运动捕捉服，其中包含具有棋盘状转角和两个字母代码的特殊图案。来自我们多相机系统的图像由一系列神经网络进行处理，这些神经网络经过训练可以定位角点并识别代码，同时具有强大的适应性，可以适应身体的伸展和自我闭塞。我们的系统仅依赖于标准RGB或单色传感器以及完全无源的照明和无源的防护服，从而使我们的方法易于复制，部署和使用。我们的实验演示了各种人体姿势的高精度捕捉，包括诸如瑜伽，体操或在地面上滚动等具有挑战性的动作。来自我们多相机系统的图像由一系列神经网络进行处理，这些神经网络经过训练可以定位角点并识别代码，同时具有强大的适应性，可以适应身体的伸展和自我闭塞。我们的系统仅依赖于标准RGB或单色传感器以及完全无源的照明和无源的防护服，从而使我们的方法易于复制，部署和使用。我们的实验演示了各种人体姿势的高精度捕捉，包括诸如瑜伽，体操或在地面上滚动等具有挑战性的动作。来自我们多相机系统的图像由一系列神经网络进行处理，这些神经网络经过训练可以定位角点并识别代码，同时具有强大的适应性，可以适应身体的伸展和自我闭塞。我们的系统仅依赖于标准RGB或单色传感器以及完全无源的照明和无源的防护服，从而使我们的方法易于复制，部署和使用。我们的实验演示了各种人体姿势的高精度捕捉，包括诸如瑜伽，体操或在地面上滚动等具有挑战性的动作。