Context enhancement is critical for the environmental perception in night vision applications, especially for the dark night situation without sufficient illumination. In this article, we propose a thermal image translation method, which can translate thermal/infrared (IR) images into color visible (VI) images, called IR2VI. The IR2VI consists of two cascaded steps: translation from nighttime thermal IR images to gray-scale visible images (GVI), which is called IR-GVI; and the translation from GVI to color visible images (CVI), which is known as GVI-CVI in this article. For the first step, we develop the Texture-Net, a novel unsupervised image translation neural network based on generative adversarial networks. Texture-Net can learn the intrinsic characteristics from the GVI and integrate them into the IR image. In comparison with the state-of-the-art unsupervised image translation methods, the proposed Texture-Net is able to address some common challenges, e.g., incorrect mapping and lack of fine details, with a structure connection module and a region-of-interest focal loss. For the second step, we investigated the state-of-the-art gray-scale image colorization methods and integrate the deep convolutional neural network into the IR2VI framework. The results of the comprehensive evaluation experiments demonstrate the effectiveness of the proposed IR2VI image translation method. This solution will contribute to the environmental perception and understanding in varied night vision applications.

中文翻译：

---

用于夜视感知的深度学习热图像翻译

上下文增强对于夜视应用中的环境感知至关重要，尤其是对于没有足够照明的黑夜情况。在本文中，我们提出了一种热图像转换方法，可以将热/红外 (IR) 图像转换为彩色可见 (VI) 图像，称为 IR2VI。IR2VI 由两个级联步骤组成：从夜间热红外图像转换为灰度可见图像 (GVI)，称为 IR-GVI；以及从 GVI 到彩色可见图像 (CVI) 的转换，在本文中称为 GVI-CVI。第一步，我们开发了 Texture-Net，这是一种基于生成对抗网络的新型无监督图像翻译神经网络。Texture-Net 可以从 GVI 中学习内在特征，并将它们整合到 IR 图像中。与最先进的无监督图像翻译方法相比，所提出的 Texture-Net 能够解决一些常见的挑战，例如，不正确的映射和缺乏精细细节，具有结构连接模块和区域兴趣焦点损失。第二步，我们研究了最先进的灰度图像着色方法，并将深度卷积神经网络集成到 IR2VI 框架中。综合评价实验的结果证明了所提出的 IR2VI 图像翻译方法的有效性。该解决方案将有助于在各种夜视应用中对环境进行感知和理解。具有结构连接模块和感兴趣区域的焦点损失。第二步，我们研究了最先进的灰度图像着色方法，并将深度卷积神经网络集成到 IR2VI 框架中。综合评价实验的结果证明了所提出的 IR2VI 图像翻译方法的有效性。该解决方案将有助于在各种夜视应用中对环境进行感知和理解。具有结构连接模块和感兴趣区域的焦点损失。第二步，我们研究了最先进的灰度图像着色方法，并将深度卷积神经网络集成到 IR2VI 框架中。综合评价实验的结果证明了所提出的 IR2VI 图像翻译方法的有效性。该解决方案将有助于在各种夜视应用中对环境进行感知和理解。综合评价实验的结果证明了所提出的 IR2VI 图像翻译方法的有效性。该解决方案将有助于在各种夜视应用中对环境进行感知和理解。综合评价实验的结果证明了所提出的 IR2VI 图像翻译方法的有效性。该解决方案将有助于在各种夜视应用中对环境进行感知和理解。