Human pose transfer (HPT) is an emerging research topic with huge potential in fashion design, media production, online advertising and virtual reality. For these applications, the visual realism of fine-grained appearance details is crucial for production quality and user engagement. However, existing HPT methods often suffer from three fundamental issues: detail deficiency, content ambiguity and style inconsistency, which severely degrade the visual quality and realism of generated images. Aiming towards real-world applications, we develop a more challenging yet practical HPT setting, termed as Fine-grained Human Pose Transfer (FHPT), with a higher focus on semantic fidelity and detail replenishment. Concretely, we analyze the potential design flaws of existing methods via an illustrative example, and establish the core FHPT methodology by combing the idea of content synthesis and feature transfer together in a mutually-guided fashion. Thereafter, we substantiate the proposed methodology with a Detail Replenishing Network (DRN) and a corresponding coarse-to-fine model training scheme. Moreover, we build up a complete suite of fine-grained evaluation protocols to address the challenges of FHPT in a comprehensive manner, including semantic analysis, structural detection and perceptual quality assessment. Extensive experiments on the DeepFashion benchmark dataset have verified the power of proposed benchmark against start-of-the-art works, with 12%–14% gain on top-10 retrieval recall, 5% higher joint localization accuracy, and near 40% gain on face identity preservation. Our codes, models and evaluation tools will be released at https://github.com/Lotayou/RATE

中文翻译：

---

借助详细的补充网络实现细粒度的人体姿势转移

人体姿势转移（HPT）是一个新兴的研究主题，在时装设计，媒体制作，在线广告和虚拟现实中具有巨大潜力。对于这些应用程序，细粒度外观细节的视觉逼真度对于生产质量和用户参与度至关重要。但是，现有的HPT方法通常遭受三个基本问题：细节不足，内容模糊和样式不一致，这严重降低了生成图像的视觉质量和真实感。针对现实世界的应用，我们开发了更具挑战性但更实用的HPT设置，称为细粒度人体传递（FHPT），并更加注重语义保真度和细节补充。具体而言，我们通过一个示例来分析现有方法的潜在设计缺陷，并以相互指导的方式将内容合成和特征转移的思想结合在一起，从而建立了核心的FHPT方法论。此后，我们用详细补充网络（DRN）和相应的从粗到细模型训练方案来证实所提出的方法。此外，我们建立了一套完整的细粒度评估协议，以全面的方式应对FHPT的挑战，包括语义分析，结构检测和感知质量评估。在DeepFashion基准数据集上进行的大量实验已验证了基准基准与最新技术工作的实力，前10名检索召回率提高了12％–14％，联合定位精度提高了5％，并且增益接近40％在脸上保持身份。我们的代码，模型和评估工具将在以下位置发布：此后，我们用详细补充网络（DRN）和相应的从粗到细模型训练方案来证实所提出的方法。此外，我们建立了一套完整的细粒度评估协议，以全面的方式应对FHPT的挑战，包括语义分析，结构检测和感知质量评估。在DeepFashion基准数据集上进行的大量实验已验证了基准基准与最新技术工作的实力，前10名检索召回率提高了12％–14％，联合定位精度提高了5％，并且增益接近40％在脸上保持身份。我们的代码，模型和评估工具将在以下位置发布：此后，我们用详细补充网络（DRN）和相应的从粗到细模型训练方案来证实所提出的方法。此外，我们建立了一套完整的细粒度评估协议，以全面的方式应对FHPT的挑战，包括语义分析，结构检测和感知质量评估。在DeepFashion基准数据集上进行的大量实验已验证了基准基准与最新技术工作的实力，前10名检索召回率提高了12％–14％，联合定位精度提高了5％，并且增益接近40％在脸上保持身份。我们的代码，模型和评估工具将在以下位置发布：我们建立了一套完整的细粒度评估协议，以全面的方式应对FHPT的挑战，包括语义分析，结构检测和感知质量评估。在DeepFashion基准数据集上进行的大量实验已验证了基准基准与最新技术工作的实力，前10名检索召回率提高了12％–14％，联合定位精度提高了5％，并且增益接近40％在脸上保持身份。我们的代码，模型和评估工具将在以下位置发布：我们建立了一套完整的细粒度评估协议，以全面的方式应对FHPT的挑战，包括语义分析，结构检测和感知质量评估。在DeepFashion基准数据集上进行的大量实验已验证了基准基准相对于最新作品的威力，前10名检索召回率提高了12％–14％，联合定位精度提高了5％，并且增益接近40％在脸上保持身份。我们的代码，模型和评估工具将在以下位置发布：在DeepFashion基准数据集上进行的大量实验已验证了基准基准与最新技术工作的实力，前10名检索召回率提高了12％–14％，联合定位精度提高了5％，并且增益接近40％在脸上保持身份。我们的代码，模型和评估工具将在以下位置发布：在DeepFashion基准数据集上进行的大量实验已验证了基准基准与最新技术工作的实力，前10名检索召回率提高了12％–14％，联合定位精度提高了5％，并且增益接近40％在脸上保持身份。我们的代码，模型和评估工具将在以下位置发布：https://github.com/Lotayou/RATE