Near infrared-visible (NIR-VIS) heterogeneous face recognition refers to the process of matching NIR to VIS face images. Current heterogeneous methods try to extend VIS face recognition methods to the NIR spectrum by synthesizing VIS images from NIR images. However, due to the self-occlusion and sensing gap, NIR face images lose some visible lighting contents so that they are always incomplete compared to VIS face images. This paper models high-resolution heterogeneous face synthesis as a complementary combination of two components: a texture inpainting component and a pose correction component. The inpainting component synthesizes and inpaints VIS image textures from NIR image textures. The correction component maps any pose in NIR images to a frontal pose in VIS images, resulting in paired NIR and VIS textures. A warping procedure is developed to integrate the two components into an end-to-end deep network. A fine-grained discriminator and a wavelet-based discriminator are designed to improve visual quality. A novel 3D-based pose correction loss, two adversarial losses, and a pixel loss are imposed to ensure synthesis results. We demonstrate that by attaching the correction component, we can simplify heterogeneous face synthesis from one-to-many unpaired image translation to one-to-one paired image translation, and minimize the spectral and pose discrepancy during heterogeneous recognition. Extensive experimental results show that our network not only generates high-resolution VIS face images but also facilitates the accuracy improvement of heterogeneous face recognition.

中文翻译：

---

用于NIR-VIS人脸识别的对抗性跨谱人脸补全。

近红外可见（NIR-VIS）异构面部识别是指将NIR与VIS面部图像进行匹配的过程。当前的异构方法试图通过从NIR图像合成VIS图像来将VIS人脸识别方法扩展到NIR光谱。但是，由于自闭塞和感应间隙，NIR面部图像会丢失一些可见的照明内容，因此与VIS面部图像相比，它们总是不完整。本文将高分辨率异构面部合成建模为两个组件的互补组合：纹理修复组件和姿势校正组件。修复组件从NIR图像纹理合成和修复VIS图像纹理。校正组件将NIR图像中的任何姿势映射到VIS图像中的正面姿势，从而生成成对的NIR和VIS纹理。开发了一种规整程序以将两个组件集成到端到端的深度网络中。细粒度鉴别器和基于小波的鉴别器旨在提高视觉质量。施加了一种基于3D的新颖姿态校正损失，两个对抗损失和一个像素损失，以确保合成结果。我们证明，通过附加校正组件，我们可以简化从一对不成对的图像翻译到一对一的成对图像翻译的异类人脸合成，并在异类识别过程中最小化光谱和姿势差异。大量的实验结果表明，我们的网络不仅可以生成高分辨率的VIS人脸图像，而且还有助于提高异质人脸识别的准确性。细粒度鉴别器和基于小波的鉴别器旨在提高视觉质量。施加了一种基于3D的新颖姿态校正损失，两个对抗损失和一个像素损失，以确保合成结果。我们证明，通过附加校正组件，我们可以简化从一对不成对的图像翻译到一对一的成对图像翻译的异类人脸合成，并在异类识别过程中最小化光谱和姿势差异。大量的实验结果表明，我们的网络不仅可以生成高分辨率的VIS人脸图像，而且还有助于提高异质人脸识别的准确性。细粒度鉴别器和基于小波的鉴别器旨在提高视觉质量。施加了一种基于3D的新颖姿态校正损失，两个对抗损失和一个像素损失，以确保合成结果。我们证明，通过附加校正组件，我们可以简化从一对不成对的图像翻译到一对一的成对图像翻译的异类人脸合成，并在异类识别过程中最小化光谱和姿势差异。大量的实验结果表明，我们的网络不仅可以生成高分辨率的VIS人脸图像，而且还有助于提高异质人脸识别的准确性。并施加像素损失以确保合成结果。我们证明，通过附加校正组件，我们可以简化从一对不成对的图像翻译到一对一的成对图像翻译的异类人脸合成，并在异类识别过程中最小化光谱和姿势差异。大量的实验结果表明，我们的网络不仅可以生成高分辨率的VIS人脸图像，而且还有助于提高异质人脸识别的准确性。并施加像素损失以确保合成结果。我们证明，通过附加校正组件，我们可以简化从一对不成对的图像翻译到一对一的成对图像翻译的异类人脸合成，并在异类识别过程中最小化光谱和姿势差异。大量的实验结果表明，我们的网络不仅可以生成高分辨率的VIS人脸图像，而且还有助于提高异质人脸识别的准确性。