Caricature generation is an interesting yet challenging task. The primary goal is to generate a plausible caricature with reasonable exaggerations given a face image. Conventional caricature generation approaches mainly use low-level geometric transformations such as image warping to generate exaggerated images, which lack richness and diversity in terms of content and style. The recent progress in generative adversarial networks (GANs) makes it possible to learn an image-to-image transformation from data so as to generate diverse images. However, directly applying GAN-based models to this task leads to unsatisfactory results due to the large variance in the caricature distribution. Moreover, conventional models typically require pixel-wisely paired training data which largely limits their usage scenarios. In this paper, we model caricature generation as a weakly paired image-to-image translation task, and propose CariGAN to address these issues. Specifically, to enforce reasonable exaggeration and facial deformation, manually annotated caricature facial landmarks are used as an additional condition to constrain the generated image. Furthermore, an image fusion mechanism is designed to encourage our model to focus on the key facial parts so that more vivid details in these regions can be generated. Finally, a diversity loss is proposed to encourage the model to produce diverse results. Extensive experiments on a large-scale “WebCaricature” dataset show that the proposed CariGAN can generate more visually plausible caricatures with larger diversity compared with the state-of-the-art models.

漫画的产生是一个有趣而又具有挑战性的任务。主要目标是在给定面部图像的情况下，以合理的夸张程度生成合理的漫画。传统的漫画生成方法主要使用低级几何变换（例如图像扭曲）来生成夸张的图像，这些图像在内容和样式方面缺乏丰富性和多样性。生成对抗网络（GAN）的最新进展使从数据中学习图像到图像的转换成为可能，从而生成各种图像。但是，由于漫画分布的巨大差异，直接将基于GAN的模型应用于此任务会导致结果不令人满意。此外，常规模型通常需要逐像素配对的训练数据，这在很大程度上限制了它们的使用场景。在本文中，我们将漫画生成建模为一个弱配对的图像到图像翻译任务，并提出CariGAN来解决这些问题。具体而言，为了强制进行合理的夸张和面部变形，将手动注释的漫画面部界标用作限制生成的图像的附加条件。此外，设计了一种图像融合机制来鼓励我们的模型将注意力集中在面部关键部位上，以便可以在这些区域中生成更生动的细节。最后，提出了多样性损失以鼓励模型产生不同的结果。在大规模“ WebCaricature”数据集上进行的大量实验表明，与最新模型相比，拟议中的CariGAN可以生成更具视觉多样性的多样性逼真漫画。并建议CariGAN解决这些问题。具体而言，为了强制进行合理的夸张和面部变形，将手动注释的漫画面部界标用作限制生成的图像的附加条件。此外，设计了一种图像融合机制来鼓励我们的模型将注意力集中在面部关键部位上，以便可以在这些区域中生成更生动的细节。最后，提出了多样性损失以鼓励模型产生不同的结果。在大规模“ WebCaricature”数据集上进行的大量实验表明，与最新模型相比，拟议中的CariGAN可以生成更具视觉多样性的多样性逼真漫画。并建议CariGAN解决这些问题。具体而言，为了强制进行合理的夸张和面部变形，将手动注释的漫画面部界标用作限制生成的图像的附加条件。此外，设计了一种图像融合机制来鼓励我们的模型将注意力集中在面部关键部位上，以便可以在这些区域中生成更生动的细节。最后，提出了多样性损失以鼓励模型产生不同的结果。在大规模“ WebCaricature”数据集上进行的大量实验表明，与最新模型相比，拟议中的CariGAN可以生成更具视觉多样性的多样性逼真漫画。手动注释的漫画面部地标被用作约束生成图像的附加条件。此外，设计了一种图像融合机制来鼓励我们的模型将注意力集中在面部关键部位上，以便可以在这些区域中生成更生动的细节。最后，提出了多样性损失以鼓励模型产生不同的结果。在大规模“ WebCaricature”数据集上进行的大量实验表明，与最新模型相比，拟议中的CariGAN可以生成更具视觉多样性的多样性逼真漫画。手动注释的漫画面部地标被用作约束生成图像的附加条件。此外，设计了一种图像融合机制来鼓励我们的模型将注意力集中在面部关键部位上，以便可以在这些区域中生成更生动的细节。最后，提出了多样性损失以鼓励模型产生不同的结果。在大规模“ WebCaricature”数据集上进行的大量实验表明，与最新模型相比，拟议中的CariGAN可以生成更具视觉多样性的多样性逼真漫画。提出了多样性损失以鼓励模型产生不同的结果。在大规模“ WebCaricature”数据集上进行的大量实验表明，与最新模型相比，拟议中的CariGAN可以生成更具视觉多样性的多样性逼真漫画。提出了多样性损失以鼓励模型产生不同的结果。在大规模“ WebCaricature”数据集上进行的大量实验表明，与最新模型相比，拟议中的CariGAN可以生成更具视觉多样性的多样性逼真漫画。