当前位置: X-MOL 学术Signal Process. Image Commun. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Comparing deep learning models for low-light natural scene image enhancement and their impact on object detection and classification: Overview, empirical evaluation, and challenges
Signal Processing: Image Communication ( IF 3.5 ) Pub Date : 2022-08-28 , DOI: 10.1016/j.image.2022.116848
Rayan Al Sobbahi , Joe Tekli

Low-light image (LLI) enhancement is an important image processing task that aims at improving the illumination of images taken under low-light conditions. Recently, a remarkable progress has been made in utilizing deep learning (DL) approaches for LLI enhancement. This paper provides a concise and comprehensive review and comparative study of the most recent DL models used for LLI enhancement. To our knowledge, this is the first comparative study dedicated to DL-based models for LLI enhancement. We address LLI enhancement in two ways: (i) standalone, as a separate task, and (ii) end-to-end, as a pre-processing stage embedded within another high-level computer vision task, namely object detection and classification. The paper consists of six logical parts. First, we provide an overview of the background and literature in LLI enhancement. Second, we describe the test data and experimental setup of the study. Third, we present a quantitative and qualitative comparison of the visual and perceptual quality achieved by 10 of the most recent DL-based LLI enhancement models. Fourth, we present a comparative analysis for object detection and classification performance achieved by 4 different object detection models applied on LLIs and their enhanced counterparts. Fifth, we perform a feature analysis of DL feature maps extracted from normal, low-light, and enhanced images, and perform the occlusion experiment to better understand the effect of LLI enhancement on the object detection and classification task. Finally, we provide our conclusions and highlight future steps and potential directions.



中文翻译:

比较用于低光自然场景图像增强的深度学习模型及其对对象检测和分类的影响:概述、经验评估和挑战

弱光图像(LLI)增强是一项重要的图像处理任务,旨在改善在弱光条件下拍摄的图像的照明。最近,在利用深度学习 (DL) 方法进行 LLI 增强方面取得了显着进展。本文对用于 LLI 增强的最新 DL 模型进行了简明而全面的回顾和比较研究。据我们所知,这是第一个专门针对基于 DL 的 LLI 增强模型的比较研究。我们以两种方式解决 LLI 增强问题:(i)独立,作为单独的任务,以及(ii)端到端,作为嵌入另一个高级计算机视觉任务(即对象检测和分类)中的预处理阶段。本文由六个逻辑部分组成。首先,我们概述了 LLI 增强的背景和文献。第二,我们描述了研究的测试数据和实验设置。第三,我们对 10 个最新的基于 DL 的 LLI 增强模型实现的视觉和感知质量进行了定量和定性比较。第四,我们对应用于 LLI 及其增强模型的 4 种不同对象检测模型实现的对象检测和分类性能进行了比较分析。第五,我们对从正常、低光和增强图像中提取的 DL 特征图进行特征分析,并进行遮挡实验,以更好地了解 LLI 增强对目标检测和分类任务的影响。最后,我们提供了我们的结论并强调了未来的步骤和潜在的方向。我们对 10 个最新的基于 DL 的 LLI 增强模型实现的视觉和感知质量进行了定量和定性比较。第四,我们对应用于 LLI 及其增强模型的 4 种不同对象检测模型实现的对象检测和分类性能进行了比较分析。第五,我们对从正常、低光和增强图像中提取的 DL 特征图进行特征分析,并进行遮挡实验,以更好地了解 LLI 增强对目标检测和分类任务的影响。最后,我们提供了我们的结论并强调了未来的步骤和潜在的方向。我们对 10 个最新的基于 DL 的 LLI 增强模型实现的视觉和感知质量进行了定量和定性比较。第四,我们对应用于 LLI 及其增强模型的 4 种不同对象检测模型实现的对象检测和分类性能进行了比较分析。第五,我们对从正常、低光和增强图像中提取的 DL 特征图进行特征分析,并进行遮挡实验,以更好地了解 LLI 增强对目标检测和分类任务的影响。最后,我们提供了我们的结论并强调了未来的步骤和潜在的方向。我们对应用于 LLI 及其增强模型的 4 种不同对象检测模型实现的对象检测和分类性能进行了比较分析。第五,我们对从正常、低光和增强图像中提取的 DL 特征图进行特征分析,并进行遮挡实验,以更好地了解 LLI 增强对目标检测和分类任务的影响。最后,我们提供了我们的结论并强调了未来的步骤和潜在的方向。我们对应用于 LLI 及其增强模型的 4 种不同对象检测模型实现的对象检测和分类性能进行了比较分析。第五,我们对从正常、低光和增强图像中提取的 DL 特征图进行特征分析,并进行遮挡实验,以更好地了解 LLI 增强对目标检测和分类任务的影响。最后,我们提供了我们的结论并强调了未来的步骤和潜在的方向。并进行遮挡实验,以更好地了解 LLI 增强对目标检测和分类任务的影响。最后,我们提供了我们的结论并强调了未来的步骤和潜在的方向。并进行遮挡实验,以更好地了解 LLI 增强对目标检测和分类任务的影响。最后,我们提供了我们的结论并强调了未来的步骤和潜在的方向。

更新日期:2022-08-28
down
wechat
bug