Face frontalization aims to normalize profile faces to frontal ones for pose-invariant face recognition. Current works have achieved promising results in face frontalization by using deep learning techniques. However, training deep models of face frontalization usually needs paired training data which is undoubtedly costly and time-consuming to acquire. To address this issue, we propose a Pose Conditional CycleGAN (PCCycleGAN) to generate authentic and identity-preserving frontal face images for pose-invariant face recognition. First, through coupling with a pair of inverse mappings, constraining with cycle consistent loss and using conditional pose label to control specific face pose generation, PCCycleGAN can be trained with unpaired samples. Second, pixel-level loss, feature space perception loss, and identity preserving loss are introduced in PCCycleGAN to help synthesize realistic and identity-preserving frontal face images. Extensive experiments on both constrained Multi-PIE dataset and unconstrained LFW and IJB-A datasets are conducted on face synthesis and pose-invariant face recognition. Results demonstrate that the proposed face frontalization model can synthesize frontal faces with high image quality as well as maintaining the identity information in both the constrained and unconstrained environments. In addition, our method enhances the performance of face recognition on the Multi-PIE, LFW and IJB-A datasets and achieves competitive face recognition performance on LFW and IJB-A datasets.

人脸正面化的目的是将轮廓脸标准化为正面脸，以实现姿势不变的人脸识别。通过使用深度学习技术，当前的作品在人脸正面化方面取得了可喜的成果。但是，训练较深的人脸识别模型通常需要成对的训练数据，这无疑是昂贵且费时的。为了解决这个问题，我们提出了一种姿势条件式循环GAN（PCCycleGAN）来生成真实的和保持身份的正面人脸图像，以进行姿势不变的人脸识别。首先，通过与一对逆映射耦合，约束与循环一致的损失并使用条件姿势标签来控制特定的面部姿势生成，可以用未配对的样本训练PCCycleGAN。其次，像素级损失，特征空间感知损失，在PCCycleGAN中引入了“保留身份信息”和“保留身份信息”，以帮助合成逼真的和保留身份的正面人脸图像。在受限的Multi-PIE数据集以及不受约束的LFW和IJB-A数据集上进行了广泛的实验，以进行面部合成和姿势不变的面部识别。结果表明，所提出的人脸正面化模型可以合成高图像质量的人脸，并且在受限和非受限环境中都可以保持身份信息。此外，我们的方法增强了在Multi-PIE，LFW和IJB-A数据集上的面部识别性能，并在LFW和IJB-A数据集上实现了具有竞争力的面部识别性能。在受限的Multi-PIE数据集以及不受约束的LFW和IJB-A数据集上进行了广泛的实验，以进行面部合成和姿势不变的面部识别。结果表明，所提出的人脸正面化模型可以合成高图像质量的人脸，并且在受限和非受限环境中都可以保持身份信息。此外，我们的方法增强了在Multi-PIE，LFW和IJB-A数据集上的面部识别性能，并在LFW和IJB-A数据集上实现了具有竞争力的面部识别性能。在受限的Multi-PIE数据集以及不受约束的LFW和IJB-A数据集上进行了广泛的实验，以进行面部合成和姿势不变的面部识别。结果表明，所提出的人脸正面化模型可以合成高图像质量的人脸，并且在受限和非受限环境中都可以保持身份信息。此外，我们的方法增强了在Multi-PIE，LFW和IJB-A数据集上的面部识别性能，并在LFW和IJB-A数据集上实现了具有竞争力的面部识别性能。结果表明，所提出的人脸正面化模型可以合成高图像质量的人脸，并且在受限和非受限环境中都可以保持身份信息。此外，我们的方法增强了在Multi-PIE，LFW和IJB-A数据集上的面部识别性能，并在LFW和IJB-A数据集上实现了具有竞争力的面部识别性能。结果表明，所提出的人脸正面化模型可以合成高图像质量的人脸，并且在受限和非受限环境中都可以保持身份信息。此外，我们的方法增强了在Multi-PIE，LFW和IJB-A数据集上的面部识别性能，并在LFW和IJB-A数据集上实现了具有竞争力的面部识别性能。