当前位置: X-MOL 学术J. Visual Commun. Image Represent. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Single image dehazing using improved cycleGAN
Journal of Visual Communication and Image Representation ( IF 2.6 ) Pub Date : 2021-01-01 , DOI: 10.1016/j.jvcir.2020.103014
B.S.N.V. Chaitanya , Snehasis Mukherjee

Haze is an aggregation of very fine, widely dispersed, solid and/or liquid particles suspended in the atmosphere. In this paper, we propose an end-to-end network for single image dehazing, which enhances the CycleGAN model by introducing a transformer architecture within the generator, which is specific for haze removal. The proposed model is trained in an unpaired fashion with clear and hazy images altogether and does not require pairs of hazy and corresponding ground-truth clear images. Furthermore, the proposed model does not depend on estimating the parameters of the atmospheric scattering model. Rather, it uses a K-estimation module as the generator’s transformer for complete end-to-end modeling. The feature transformer introduced in the proposed generator model transforms the encoded features into desired feature space and then feeds them into the CycleGAN decoder to create a clear image. In the proposed model we further modified the cycle consistency loss to include the SSIM loss along with pixel-wise mean loss to produce a new loss function specific for the reconstruction task, which enhances the performance of the proposed model. The model performs well even on the high-resolution images provided in the NTIRE 2019 challenge dataset for single image dehazing. Further, we perform experiments on NYU-Depth and reside beta datasets. Results of our experiments show the efficacy of the proposed approach compared to the state-of-the-art in removing the haze from the input image.



中文翻译:

使用改进的cycleGAN进行单图像去雾

雾度是悬浮在大气中的非常细的,广泛分散的固体和/或液体颗粒的聚集体。在本文中,我们提出了一种用于单图像去雾的端到端网络,该网络通过在发生器内部引入专用于除雾的变压器架构来增强CycleGAN模型。所提出的模型以不成对的方式与清晰和朦胧的图像一起进行训练,并且不需要成对的朦胧和相应的地面真相清晰图像。此外,提出的模型不依赖于估计大气散射模型的参数。相反,它使用K估计模块作为发电机的变压器,以进行完整的端到端建模。在建议的生成器模型中引入的特征转换器将编码后的特征转换为所需的特征空间,然后将其馈送到CycleGAN解码器中以创建清晰的图像。在提出的模型中,我们进一步修改了循环一致性损失,以包括SSIM损失以及逐像素平均损失,以生成特定于重建任务的新损失函数,从而增强了所提出模型的性能。该模型甚至在NTIRE 2019挑战数据集中提供的用于单图像去雾的高分辨率图像上也表现良好。此外,我们对NYU-Depth和驻留beta数据集进行实验。我们的实验结果表明,与最新技术相比,该方法可有效消除输入图像中的雾度。在提出的模型中,我们进一步修改了循环一致性损失,以包括SSIM损失以及逐像素平均损失,以生成特定于重建任务的新损失函数,从而增强了所提出模型的性能。该模型甚至在NTIRE 2019挑战数据集中提供的用于单图像去雾的高分辨率图像上也表现良好。此外,我们对NYU-Depth和驻留beta数据集进行实验。我们的实验结果表明,与最新技术相比,该方法可有效消除输入图像中的雾度。在提出的模型中,我们进一步修改了循环一致性损失,以包括SSIM损失以及逐像素平均损失,以生成特定于重建任务的新损失函数,从而增强了所提出模型的性能。该模型甚至在NTIRE 2019挑战数据集中提供的用于单图像去雾的高分辨率图像上也表现良好。此外,我们对NYU-Depth和驻留beta数据集进行实验。我们的实验结果表明,与最新技术相比,该方法可有效消除输入图像中的雾度。该模型甚至在NTIRE 2019挑战数据集中提供的用于单图像去雾的高分辨率图像上也表现良好。此外,我们对NYU-Depth和驻留beta数据集进行实验。我们的实验结果表明,与最新技术相比,该方法可有效消除输入图像中的雾度。该模型甚至在NTIRE 2019挑战数据集中提供的用于单图像去雾的高分辨率图像上也表现良好。此外,我们对NYU-Depth和驻留beta数据集进行实验。我们的实验结果表明,与最新技术相比,该方法可有效消除输入图像中的雾度。

更新日期:2021-01-05
down
wechat
bug