We propose a novel deep generative model based on causal convolutions for multi-subject motion modeling and synthesis, which is inspired by the success of WaveNet in multi-subject speech synthesis. However, it is nontrivial to adapt WaveNet to handle high-dimensional and physically constrained motion data. To this end, we add an encoder and a decoder to the WaveNet to translate the motion data into features and back to the predicted motions. We also add 1D convolution layers to take skeleton configuration as an input to model skeleton variations across different subjects. As a result, our network can scale up well to large-scale motion data sets across multiple subjects and support various applications, such as random and controllable motion synthesis, motion denoising, and motion completion, in a unified way. Complex motions, such as punching, kicking and, kicking while punching, are also well handled. Moreover, our network can synthesize motions for novel skeletons not in the training dataset. After fine-tuning the network with a few motion data of the novel skeleton, it is able to capture the personalized style implied in the motion and generate high-quality motions for the skeleton. Thus, it has the potential to be used as a pre-trained network in few-shot learning for motion modeling and synthesis. Experimental results show that our model can effectively handle the variation of skeleton configurations, and it runs fast to synthesize different types of motions on-line. We also perform user studies to verify that the quality of motions generated by our network is superior to the motions of state-of-the-art human motion synthesis methods.

中文翻译：

---

用于运动建模和合成的因果卷积神经网络

我们提出了一种基于因果卷积的新型深度生成模型，用于多对象运动建模和合成，这是受WaveNet在多对象语音合成中的成功启发的。但是，使WaveNet处理高维和物理受限的运动数据并非易事。为此，我们在WaveNet中添加了编码器和解码器，以将运动数据转换为特征并返回到预测的运动。我们还添加了1D卷积层以将骨架配置作为输入来模拟跨不同主题的骨架变化。因此，我们的网络可以很好地扩展到跨多个主题的大规模运动数据集，并以统一的方式支持各种应用程序，例如随机和可控制的运动合成，运动去噪和运动完成。复杂的动作，例如打孔，脚踢和拳打脚踢也得到了很好的处理。此外，我们的网络可以为训练数据集中没有的新颖骨骼合成运动。在使用新颖骨架的一些运动数据对网络进行微调之后，它能够捕获运动中隐含的个性化样式并为骨架生成高质量的运动。因此，它有可能在用于运动建模和合成的短镜头学习中用作预先训练的网络。实验结果表明，我们的模型可以有效地处理骨架配置的变化，并且可以快速运行以在线合成不同类型的运动。我们还进行用户研究，以验证由我们的网络生成的运动的质量优于最新的人类运动合成方法的运动。也处理得很好。此外，我们的网络可以为训练数据集中没有的新颖骨骼合成运动。在使用新颖骨架的一些运动数据对网络进行微调之后，它能够捕获运动中隐含的个性化样式并为骨架生成高质量的运动。因此，它有可能在用于运动建模和合成的短镜头学习中用作预先训练的网络。实验结果表明，我们的模型可以有效地处理骨架配置的变化，并且可以快速运行以在线合成不同类型的运动。我们还进行用户研究，以验证由我们的网络生成的运动的质量优于最新的人类运动合成方法的运动。也处理得很好。此外，我们的网络可以为训练数据集中没有的新颖骨骼合成运动。在使用新颖骨架的一些运动数据对网络进行微调之后，它能够捕获运动中隐含的个性化样式并为骨架生成高质量的运动。因此，它有可能在用于运动建模和合成的短镜头学习中用作预先训练的网络。实验结果表明，我们的模型可以有效地处理骨架配置的变化，并且可以快速运行以在线合成不同类型的运动。我们还进行用户研究，以验证由我们的网络生成的运动的质量优于最新的人类运动合成方法的运动。我们的网络可以合成训练数据集中没有的新颖骨骼的运动。在使用新颖骨架的一些运动数据对网络进行微调之后，它能够捕获运动中隐含的个性化样式并为骨架生成高质量的运动。因此，它有可能在用于运动建模和合成的短镜头学习中用作预先训练的网络。实验结果表明，该模型可以有效地处理骨架配置的变化，并且可以快速运行以在线合成不同类型的运动。我们还进行用户研究，以验证由我们的网络生成的运动的质量优于最新的人类运动合成方法的运动。我们的网络可以合成训练数据集中没有的新颖骨骼的运动。在使用新颖骨架的一些运动数据对网络进行微调之后，它能够捕获运动中隐含的个性化样式并为骨架生成高质量的运动。因此，它有可能在用于运动建模和合成的短镜头学习中用作预先训练的网络。实验结果表明，我们的模型可以有效地处理骨架配置的变化，并且可以快速运行以在线合成不同类型的运动。我们还进行用户研究，以验证由我们的网络生成的运动的质量优于最新的人类运动合成方法的运动。它能够捕捉运动中隐含的个性化风格，并为骨骼生成高质量的运动。因此，它有可能在用于运动建模和合成的短镜头学习中用作预先训练的网络。实验结果表明，我们的模型可以有效地处理骨架配置的变化，并且可以快速运行以在线合成不同类型的运动。我们还进行用户研究，以验证由我们的网络生成的运动的质量优于最新的人类运动合成方法的运动。它能够捕捉运动中隐含的个性化风格，并为骨骼生成高质量的运动。因此，它有可能在用于运动建模和合成的短镜头学习中用作预先训练的网络。实验结果表明，我们的模型可以有效地处理骨架配置的变化，并且可以快速运行以在线合成不同类型的运动。我们还进行用户研究，以验证由我们的网络生成的运动的质量优于最新的人类运动合成方法的运动。实验结果表明，我们的模型可以有效地处理骨架配置的变化，并且可以快速运行以在线合成不同类型的运动。我们还进行用户研究，以验证由我们的网络生成的运动的质量优于最新的人类运动合成方法的运动。实验结果表明，我们的模型可以有效地处理骨架配置的变化，并且可以快速运行以在线合成不同类型的运动。我们还进行用户研究，以验证由我们的网络生成的运动的质量优于最新的人类运动合成方法的运动。