当前位置: X-MOL 学术J. Comput. Sci. Tech. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Multi-Feature Super-Resolution Network for Cloth Wrinkle Synthesis
Journal of Computer Science and Technology ( IF 1.2 ) Pub Date : 2021-05-31 , DOI: 10.1007/s11390-021-1331-y
Lan Chen , Juntao Ye , Xiaopeng Zhang

Existing physical cloth simulators suffer from expensive computation and difficulties in tuning mechanical parameters to get desired wrinkling behaviors. Data-driven methods provide an alternative solution. They typically synthesize cloth animation at a much lower computational cost, and also create wrinkling effects that are similar to the training data. In this paper we propose a deep learning based method for synthesizing cloth animation with high resolution meshes. To do this we first create a dataset for training: a pair of low and high resolution meshes are simulated and their motions are synchronized. As a result the two meshes exhibit similar large-scale deformation but different small wrinkles. Each simulated mesh pair is then converted into a pair of low- and high-resolution “images” (a 2D array of samples), with each image pixel being interpreted as any of three descriptors: the displacement, the normal and the velocity. With these image pairs, we design a multi-feature super-resolution (MFSR) network that jointly trains an upsampling synthesizer for the three descriptors. The MFSR architecture consists of shared and task-specific layers to learn multi-level features when super-resolving three descriptors simultaneously. Frame-to-frame consistency is well maintained thanks to the proposed kinematics-based loss function. Our method achieves realistic results at high frame rates: 12–14 times faster than traditional physical simulation. We demonstrate the performance of our method with various experimental scenes, including a dressed character with sophisticated collisions.



中文翻译:

用于布料皱纹合成的多特征超分辨率网络

现有的物理布料模拟器在调整机械参数以获得所需的起皱行为方面存在昂贵的计算和困难。数据驱动的方法提供了一种替代解决方案。它们通常以低得多的计算成本合成布料动画,并且还会产生类似于训练数据的起皱效果。在本文中,我们提出了一种基于深度学习的方法,用于合成具有高分辨率网格的布料动画。为此,我们首先创建一个用于训练的数据集:模拟一对低分辨率和高分辨率网格并同步它们的运动。结果,两个网格表现出相似的大尺度变形但不同的小皱纹。然后将每个模拟网格对转换为一对低分辨率和高分辨率“图像”(二维样本阵列),每个图像像素被解释为三个描述符中的任何一个:位移、法线和速度。使用这些图像对,我们设计了一个多特征超分辨率 (MFSR) 网络,该网络联合训练三个描述符的上采样合成器。MFSR 架构由共享层和特定于任务的层组成,用于在同时超解析三个描述符时学习多级特征。由于提出的基于运动学的损失函数,帧到帧的一致性得到了很好的维护。我们的方法在高帧率下实现了逼真的结果:比传统物理模拟快 12-14 倍。我们通过各种实验场景展示了我们的方法的性能,包括具有复杂碰撞的穿着角色。法线和速度。使用这些图像对,我们设计了一个多特征超分辨率 (MFSR) 网络,该网络联合训练三个描述符的上采样合成器。MFSR 架构由共享层和特定于任务的层组成,用于在同时超解析三个描述符时学习多级特征。由于提出的基于运动学的损失函数,帧到帧的一致性得到了很好的维护。我们的方法在高帧率下实现了逼真的结果:比传统物理模拟快 12-14 倍。我们通过各种实验场景展示了我们的方法的性能,包括具有复杂碰撞的穿着角色。法线和速度。使用这些图像对,我们设计了一个多特征超分辨率 (MFSR) 网络,该网络联合训练三个描述符的上采样合成器。MFSR 架构由共享层和特定于任务的层组成,用于在同时超解析三个描述符时学习多级特征。由于提出的基于运动学的损失函数,帧到帧的一致性得到了很好的维护。我们的方法在高帧率下实现了逼真的结果:比传统物理模拟快 12-14 倍。我们通过各种实验场景展示了我们的方法的性能,包括具有复杂碰撞的穿着角色。MFSR 架构由共享层和特定于任务的层组成,用于在同时超解析三个描述符时学习多级特征。由于提出的基于运动学的损失函数,帧到帧的一致性得到了很好的维护。我们的方法在高帧率下实现了逼真的结果:比传统物理模拟快 12-14 倍。我们通过各种实验场景展示了我们的方法的性能,包括具有复杂碰撞的穿着角色。MFSR 架构由共享层和特定于任务的层组成,用于在同时超解析三个描述符时学习多级特征。由于提出的基于运动学的损失函数,帧到帧的一致性得到了很好的维护。我们的方法在高帧率下实现了逼真的结果:比传统物理模拟快 12-14 倍。我们通过各种实验场景展示了我们的方法的性能,包括具有复杂碰撞的穿着角色。比传统物理模拟快 12-14 倍。我们通过各种实验场景展示了我们的方法的性能,包括具有复杂碰撞的穿着角色。比传统物理模拟快 12-14 倍。我们通过各种实验场景展示了我们的方法的性能,包括具有复杂碰撞的穿着角色。

更新日期:2021-06-15
down
wechat
bug