Transferring human motion and appearance between videos of human actors remains one of the key challenges in Computer Vision. Despite the advances from recent image-to-image translation approaches, there are several transferring contexts where most end-to-end learning-based retargeting methods still perform poorly. Transferring human appearance from one actor to another is only ensured when a strict setup has been complied, which is generally built considering their training regime’s specificities. In this work, we propose a shape-aware approach based on a hybrid image-based rendering technique that exhibits competitive visual retargeting quality compared to state-of-the-art neural rendering approaches. The formulation leverages the user body shape into the retargeting while considering physical constraints of the motion in 3D and the 2D image domain. We also present a new video retargeting benchmark dataset composed of different videos with annotated human motions to evaluate the task of synthesizing people’s videos, which can be used as a common base to improve tracking the progress in the field. The dataset and its evaluation protocols are designed to evaluate retargeting methods in more general and challenging conditions. Our method is validated in several experiments, comprising publicly available videos of actors with different shapes, motion types, and camera setups. The dataset and retargeting code are publicly available to the community at: https://www.verlab.dcc.ufmg.br/retargeting-motion.

在人类演员的视频之间转移人类动作和外观仍然是计算机视觉的主要挑战之一。尽管最近的图像到图像翻译方法取得了进步，但是在许多转移的上下文中，大多数基于端对端学习的重定位方法仍然表现不佳。仅当遵守严格的设置时才能确保将人的外观从一个演员转移到另一个演员，这通常是考虑到他们的培训制度的特殊性而建立的。在这项工作中，我们提出了一种基于混合图像的渲染技术的形状感知方法，该技术与最新的神经渲染方法相比，具有竞争性的视觉重定向质量。该公式在考虑3D和2D图像域中运动的物理约束的同时，将用户的身体形状利用到了重新定位中。我们还提出了一个新的视频重定向基准数据集，该数据集由带注释的人类动作的不同视频组成，以评估合成人的视频的任务，可以用作改进跟踪该领域进展的通用基础。数据集及其评估协议旨在在更一般和更具挑战性的条件下评估重定目标方法。我们的方法在多个实验中得到了验证，包括具有不同形状，动作类型和摄影机设置的演员的公开视频。数据集和重新定向代码可以在以下社区中向社区公开使用：https://www.verlab.dcc.ufmg.br/retargeting-motion。我们还提出了一个新的视频重定向基准数据集，该数据集由带注释的人类动作的不同视频组成，以评估合成人的视频的任务，可以用作改进跟踪该领域进展的通用基础。数据集及其评估协议旨在在更一般和更具挑战性的条件下评估重定目标方法。我们的方法在多个实验中得到了验证，包括具有不同形状，动作类型和摄影机设置的演员的公开视频。数据集和重新定向代码可以在以下社区中向社区公开使用：https://www.verlab.dcc.ufmg.br/retargeting-motion。我们还提出了一个新的视频重新定向基准数据集，该数据集由带注释的人类动作的不同视频组成，以评估合成人的视频的任务，可以用作改进跟踪该领域进展的通用基础。数据集及其评估协议旨在在更一般和更具挑战性的条件下评估重定目标方法。我们的方法在多个实验中得到了验证，包括具有不同形状，动作类型和摄影机设置的演员的公开视频。数据集和重新定向代码可以在以下社区中向社区公开使用：https://www.verlab.dcc.ufmg.br/retargeting-motion。可以用作改进跟踪该领域进度的通用基础。数据集及其评估协议旨在在更一般和更具挑战性的条件下评估重新定向方法。我们的方法在多个实验中得到了验证，包括具有不同形状，动作类型和摄影机设置的演员的公开视频。数据集和重新定向代码可以在以下社区中向社区公开使用：https://www.verlab.dcc.ufmg.br/retargeting-motion。可以用作改进跟踪该领域进度的通用基础。数据集及其评估协议旨在在更一般和更具挑战性的条件下评估重定目标方法。我们的方法在多个实验中得到了验证，包括具有不同形状，动作类型和摄影机设置的演员的公开视频。数据集和重新定向代码可以在以下社区中向社区公开使用：https://www.verlab.dcc.ufmg.br/retargeting-motion。