Facial expression retargeting from humans to virtual characters is a useful technique in computer graphics and animation. Traditional methods use markers or blendshapes to construct a mapping between the human and avatar faces. However, these approaches require a tedious 3D modeling process, and the performance relies on the modelers’ experience. In this article, we propose a brand-new solution to this cross-domain expression transfer problem via nonlinear expression embedding and expression domain translation. We first build low-dimensional latent spaces for the human and avatar facial expressions with variational autoencoder. Then we construct correspondences between the two latent spaces guided by geometric and perceptual constraints. Specifically, we design geometric correspondences to reflect geometric matching and utilize a triplet data structure to express users’ perceptual preference of avatar expressions. A user-friendly method is proposed to automatically generate triplets for a system allowing users to easily and efficiently annotate the correspondences. Using both geometric and perceptual correspondences, we trained a network for expression domain translation from human to avatar. Extensive experimental results and user studies demonstrate that even nonprofessional users can apply our method to generate high-quality facial expression retargeting results with less time and effort.

中文翻译：

---

从人类到头像的面部表情重定向变得容易

从人类到虚拟角色的面部表情重定向是计算机图形和动画中的一种有用技术。传统方法使用标记或混合形状来构建人和头像面部之间的映射。然而，这些方法需要繁琐的 3D 建模过程，并且性能依赖于建模者的经验。在本文中，我们通过非线性表达式嵌入和表达式域翻译提出了一个全新的解决方案来解决这个跨域表达式迁移问题。我们首先使用变分自动编码器为人和头像面部表情构建低维潜在空间。然后我们在几何和感知约束引导的两个潜在空间之间构建对应关系。具体来说，我们设计几何对应来反映几何匹配，并利用三元组数据结构来表达用户对头像表情的感知偏好。提出了一种用户友好的方法来为系统自动生成三元组，使用户能够轻松有效地注释对应关系。使用几何和感知对应，我们训练了一个从人类到化身的表达域翻译网络。广泛的实验结果和用户研究表明，即使是非专业用户也可以应用我们的方法以更少的时间和精力生成高质量的面部表情重定向结果。提出了一种用户友好的方法来为系统自动生成三元组，使用户能够轻松有效地注释对应关系。使用几何和感知对应，我们训练了一个从人类到化身的表达域翻译网络。广泛的实验结果和用户研究表明，即使是非专业用户也可以应用我们的方法以更少的时间和精力生成高质量的面部表情重定向结果。提出了一种用户友好的方法来为系统自动生成三元组，使用户能够轻松有效地注释对应关系。使用几何和感知对应，我们训练了一个从人类到化身的表达域翻译网络。广泛的实验结果和用户研究表明，即使是非专业用户也可以应用我们的方法以更少的时间和精力生成高质量的面部表情重定向结果。