当前位置:
X-MOL 学术
›
arXiv.cs.CV
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
SSTN: Self-Supervised Domain Adaptation Thermal Object Detection for Autonomous Driving
arXiv - CS - Computer Vision and Pattern Recognition Pub Date : 2021-03-04 , DOI: arxiv-2103.03150 Farzeen Munir, Shoaib Azam, Moongu Jeon
arXiv - CS - Computer Vision and Pattern Recognition Pub Date : 2021-03-04 , DOI: arxiv-2103.03150 Farzeen Munir, Shoaib Azam, Moongu Jeon
The sensibility and sensitivity of the environment play a decisive role in
the safe and secure operation of autonomous vehicles. This perception of the
surrounding is way similar to human visual representation. The human's brain
perceives the environment by utilizing different sensory channels and develop a
view-invariant representation model. Keeping in this context, different
exteroceptive sensors are deployed on the autonomous vehicle for perceiving the
environment. The most common exteroceptive sensors are camera, Lidar and radar
for autonomous vehicle's perception. Despite being these sensors have
illustrated their benefit in the visible spectrum domain yet in the adverse
weather conditions, for instance, at night, they have limited operation
capability, which may lead to fatal accidents. In this work, we explore thermal
object detection to model a view-invariant model representation by employing
the self-supervised contrastive learning approach. For this purpose, we have
proposed a deep neural network Self Supervised Thermal Network (SSTN) for
learning the feature embedding to maximize the information between visible and
infrared spectrum domain by contrastive learning, and later employing these
learned feature representation for the thermal object detection using
multi-scale encoder-decoder transformer network. The proposed method is
extensively evaluated on the two publicly available datasets: the FLIR-ADAS
dataset and the KAIST Multi-Spectral dataset. The experimental results
illustrate the efficacy of the proposed method.
中文翻译:
SSTN:用于自动驾驶的自我监督域自适应热对象检测
环境的敏感性和敏感性在自动驾驶汽车的安全运行中起着决定性的作用。对周围环境的这种感知类似于人类视觉表示的方式。人的大脑通过利用不同的感觉通道来感知环境,并开发出视图不变的表示模型。在这种情况下,在自动驾驶汽车上部署了不同的自我感知传感器,以感知环境。最常见的外在感知传感器是用于自动驾驶汽车感知的摄像头,激光雷达和雷达。尽管这些传感器已经说明了它们在可见光谱域中的优势,但是在不利的天气条件下(例如在夜间),它们的操作能力有限,这可能会导致致命事故。在这项工作中,我们探索热物体检测,以通过采用自我监督的对比学习方法对视图不变的模型表示进行建模。为此,我们提出了一个深度神经网络自监督热网络(SSTN),用于通过对比学习来学习嵌入的特征以最大化可见光和红外光谱域之间的信息,然后将这些学习到的特征表示用于使用多尺度编码器-解码器变压器网络。对两个公开可用的数据集(FLIR-ADAS数据集和KAIST多谱数据集)进行了广泛评估。实验结果说明了该方法的有效性。为此,我们提出了一个深度神经网络自监督热网络(SSTN),用于通过对比学习来学习嵌入的特征以最大化可见光和红外光谱域之间的信息,然后将这些学习到的特征表示用于使用多尺度编码器-解码器变压器网络。对两个公开可用的数据集(FLIR-ADAS数据集和KAIST多谱数据集)进行了广泛评估。实验结果说明了该方法的有效性。为此,我们提出了一个深度神经网络自监督热网络(SSTN),用于通过对比学习来学习嵌入的特征以最大化可见光和红外光谱域之间的信息,然后将这些学习到的特征表示用于使用多尺度编码器-解码器变压器网络。对两个公开可用的数据集(FLIR-ADAS数据集和KAIST多谱数据集)进行了广泛评估。实验结果说明了该方法的有效性。然后将这些学习到的特征表示用于通过多尺度编码器-解码器变压器网络进行的热物体检测。对两个公开可用的数据集(FLIR-ADAS数据集和KAIST多谱数据集)进行了广泛评估。实验结果说明了该方法的有效性。然后将这些学习到的特征表示用于通过多尺度编码器-解码器变压器网络进行的热物体检测。对两个公开可用的数据集(FLIR-ADAS数据集和KAIST多谱数据集)进行了广泛评估。实验结果说明了该方法的有效性。
更新日期:2021-03-05
中文翻译:
SSTN:用于自动驾驶的自我监督域自适应热对象检测
环境的敏感性和敏感性在自动驾驶汽车的安全运行中起着决定性的作用。对周围环境的这种感知类似于人类视觉表示的方式。人的大脑通过利用不同的感觉通道来感知环境,并开发出视图不变的表示模型。在这种情况下,在自动驾驶汽车上部署了不同的自我感知传感器,以感知环境。最常见的外在感知传感器是用于自动驾驶汽车感知的摄像头,激光雷达和雷达。尽管这些传感器已经说明了它们在可见光谱域中的优势,但是在不利的天气条件下(例如在夜间),它们的操作能力有限,这可能会导致致命事故。在这项工作中,我们探索热物体检测,以通过采用自我监督的对比学习方法对视图不变的模型表示进行建模。为此,我们提出了一个深度神经网络自监督热网络(SSTN),用于通过对比学习来学习嵌入的特征以最大化可见光和红外光谱域之间的信息,然后将这些学习到的特征表示用于使用多尺度编码器-解码器变压器网络。对两个公开可用的数据集(FLIR-ADAS数据集和KAIST多谱数据集)进行了广泛评估。实验结果说明了该方法的有效性。为此,我们提出了一个深度神经网络自监督热网络(SSTN),用于通过对比学习来学习嵌入的特征以最大化可见光和红外光谱域之间的信息,然后将这些学习到的特征表示用于使用多尺度编码器-解码器变压器网络。对两个公开可用的数据集(FLIR-ADAS数据集和KAIST多谱数据集)进行了广泛评估。实验结果说明了该方法的有效性。为此,我们提出了一个深度神经网络自监督热网络(SSTN),用于通过对比学习来学习嵌入的特征以最大化可见光和红外光谱域之间的信息,然后将这些学习到的特征表示用于使用多尺度编码器-解码器变压器网络。对两个公开可用的数据集(FLIR-ADAS数据集和KAIST多谱数据集)进行了广泛评估。实验结果说明了该方法的有效性。然后将这些学习到的特征表示用于通过多尺度编码器-解码器变压器网络进行的热物体检测。对两个公开可用的数据集(FLIR-ADAS数据集和KAIST多谱数据集)进行了广泛评估。实验结果说明了该方法的有效性。然后将这些学习到的特征表示用于通过多尺度编码器-解码器变压器网络进行的热物体检测。对两个公开可用的数据集(FLIR-ADAS数据集和KAIST多谱数据集)进行了广泛评估。实验结果说明了该方法的有效性。