This paper focuses on the colorization problem of near-infrared (NIR) images. Traditional colorization methods of grayscale images usually depend on users’ intervention and cannot be extended to NIR image colorization due to inherent complexity, such as the same near-infrared lights emitted by objects with different colors. Furthermore, a large number of paired and labeled images, which cannot be guaranteed for the addressed problem, need to be provided during the training phase, whether for some traditional reference-based coloring methods or for CNN-based automatic coloring ones. Benefiting from the advantages of deep learning and generative adversarial networks (GANs) in the image-to-image translation, an improved DualGAN architecture is constructed to deal with the investigated problem. The developed architecture contains four blocks and any two adjacent blocks exist a direct connection channel, where convolution layers in each block enclose batch normalization and leaky ReLU nonlinearities. The adoption of dual deep learning networks is to establish the conversion translation relationship between NIR images and RGB images without paired and labeled requirements. Besides, a mixed loss function by integrating generator loss for discriminators’ training is designed to decrease the occurrence of incorrect images generated by generators. Finally, an intensive comparison analysis based on common data sets is conducted to verify superiority over leading-edge methods in qualitative and quantitative visual assessments.

本文重点研究近红外 (NIR) 图像的着色问题。传统的灰度图像着色方法通常依赖于用户的干预，由于固有的复杂性，例如不同颜色的物体发出的近红外光相同，不能扩展到 NIR 图像着​​色。此外，无论是对于一些传统的基于参考的着色方法还是基于 CNN 的自动着色方法，都需要在训练阶段提供大量配对和标记的图像，这些图像无法保证解决的问题。受益于深度学习和生成对抗网络 (GAN) 在图像到图像转换中的优势，构建了改进的 DualGAN 架构来处理所研究的问题。开发的架构包含四个块，任何两个相邻的块都存在一个直接连接通道，其中每个块中的卷积层都包含批量归一化和泄漏 ReLU 非线性。双深度学习网络的采用是建立NIR图像和RGB图像之间的转换转换关系，没有配对和标记的要求。此外，通过整合用于判别器训练的生成器损失的混合损失函数旨在减少生成器生成的错误图像的发生。最后，基于通用数据集进行了深入的比较分析，以验证在定性和定量视觉评估方面优于前沿方法。其中每个块中的卷积层都包含批量归一化和泄漏 ReLU 非线性。双深度学习网络的采用是建立NIR图像和RGB图像之间的转换转换关系，没有配对和标记的要求。此外，通过整合用于判别器训练的生成器损失的混合损失函数旨在减少生成器生成的错误图像的发生。最后，基于通用数据集进行了深入的比较分析，以验证在定性和定量视觉评估方面优于前沿方法。其中每个块中的卷积层都包含批量归一化和泄漏 ReLU 非线性。双深度学习网络的采用是建立NIR图像和RGB图像之间的转换转换关系，没有配对和标记的要求。此外，通过整合用于判别器训练的生成器损失的混合损失函数旨在减少生成器生成的错误图像的发生。最后，基于通用数据集进行了深入的比较分析，以验证在定性和定量视觉评估方面优于前沿方法。通过整合用于鉴别器训练的生成器损失的混合损失函数旨在减少生成器生成的错误图像的发生。最后，基于通用数据集进行了深入的比较分析，以验证在定性和定量视觉评估方面优于前沿方法。通过整合用于鉴别器训练的生成器损失的混合损失函数旨在减少生成器生成的错误图像的发生。最后，基于通用数据集进行了深入的比较分析，以验证在定性和定量视觉评估方面优于前沿方法。