The sensibility and sensitivity of the environment play a decisive role in the safe and secure operation of autonomous vehicles. This perception of the surrounding is way similar to human visual representation. The human's brain perceives the environment by utilizing different sensory channels and develop a view-invariant representation model. Keeping in this context, different exteroceptive sensors are deployed on the autonomous vehicle for perceiving the environment. The most common exteroceptive sensors are camera, Lidar and radar for autonomous vehicle's perception. Despite being these sensors have illustrated their benefit in the visible spectrum domain yet in the adverse weather conditions, for instance, at night, they have limited operation capability, which may lead to fatal accidents. In this work, we explore thermal object detection to model a view-invariant model representation by employing the self-supervised contrastive learning approach. For this purpose, we have proposed a deep neural network Self Supervised Thermal Network (SSTN) for learning the feature embedding to maximize the information between visible and infrared spectrum domain by contrastive learning, and later employing these learned feature representation for the thermal object detection using multi-scale encoder-decoder transformer network. The proposed method is extensively evaluated on the two publicly available datasets: the FLIR-ADAS dataset and the KAIST Multi-Spectral dataset. The experimental results illustrate the efficacy of the proposed method.

中文翻译：

---

SSTN：用于自动驾驶的自我监督域自适应热对象检测

环境的敏感性和敏感性在自动驾驶汽车的安全运行中起着决定性的作用。对周围环境的这种感知类似于人类视觉表示的方式。人的大脑通过利用不同的感觉通道来感知环境，并开发出视图不变的表示模型。在这种情况下，在自动驾驶汽车上部署了不同的自我感知传感器，以感知环境。最常见的外在感知传感器是用于自动驾驶汽车感知的摄像头，激光雷达和雷达。尽管这些传感器已经说明了它们在可见光谱域中的优势，但是在不利的天气条件下（例如在夜间），它们的操作能力有限，这可能会导致致命事故。在这项工作中，我们探索热物体检测，以通过采用自我监督的对比学习方法对视图不变的模型表示进行建模。为此，我们提出了一个深度神经网络自监督热网络（SSTN），用于通过对比学习来学习嵌入的特征以最大化可见光和红外光谱域之间的信息，然后将这些学习到的特征表示用于使用多尺度编码器-解码器变压器网络。对两个公开可用的数据集（FLIR-ADAS数据集和KAIST多谱数据集）进行了广泛评估。实验结果说明了该方法的有效性。为此，我们提出了一个深度神经网络自监督热网络（SSTN），用于通过对比学习来学习嵌入的特征以最大化可见光和红外光谱域之间的信息，然后将这些学习到的特征表示用于使用多尺度编码器-解码器变压器网络。对两个公开可用的数据集（FLIR-ADAS数据集和KAIST多谱数据集）进行了广泛评估。实验结果说明了该方法的有效性。为此，我们提出了一个深度神经网络自监督热网络（SSTN），用于通过对比学习来学习嵌入的特征以最大化可见光和红外光谱域之间的信息，然后将这些学习到的特征表示用于使用多尺度编码器-解码器变压器网络。对两个公开可用的数据集（FLIR-ADAS数据集和KAIST多谱数据集）进行了广泛评估。实验结果说明了该方法的有效性。然后将这些学习到的特征表示用于通过多尺度编码器-解码器变压器网络进行的热物体检测。对两个公开可用的数据集（FLIR-ADAS数据集和KAIST多谱数据集）进行了广泛评估。实验结果说明了该方法的有效性。然后将这些学习到的特征表示用于通过多尺度编码器-解码器变压器网络进行的热物体检测。对两个公开可用的数据集（FLIR-ADAS数据集和KAIST多谱数据集）进行了广泛评估。实验结果说明了该方法的有效性。