In the optical remote sensing and earth observation fields, clouds severely obscure the land’s visibility and degrade the image. In recent years, there have been many excellent efforts to mitigate the effects of cloud cover. However, it has been found that there will be some blurs in the area if a single degraded image is restored by autoencoder-based methods. This letter focuses on removing clouds from single optical remote sensing images by autoencoder-based methods without multitemporal information while at the same time mitigating blurs caused by missing information. Therefore, we propose a novel cloud removal method that combines image inpainting and image denoising, called the Cloud-Aware Generative Network (CAGN). The CAGN consists of two stages: the first stage is a recurrent convolution network for potential cloud region detection and the second is an autoencoder for cloud removal. The method uses a side-guided method that adds attention mechanisms in the first stage to assist in predicting the mask. Furthermore, to update the mask adaptively for restoring degraded image areas greedily, the method embeds partial convolution in the autoencoder to condition the convolution calculation of pixels in the regions of thick clouds at different layers. Extensive experiments demonstrate clearly that CAGN can easily achieve a considerable increase in the peak signal-to-noise ratio (PSNR) and the structural similarity index (SSIM) compared with a competitive baseline model.

中文翻译：

---

云感知生成网络：从光学遥感图像中去除云

在光学遥感和地球观测领域，云层严重遮挡了陆地的能见度并降低了图像质量。近年来，已经有许多出色的努力来减轻云覆盖的影响。但是，已经发现如果通过基于自动编码器的方法恢复单个降级图像，则该区域会出现一些模糊。这封信的重点是在没有多时态信息的情况下，通过基于自动编码器的方法从单个光学遥感图像中去除云层，同时减轻由丢失信息引起的模糊。因此，我们提出了一种结合图像修复和图像去噪的新型云去除方法，称为云感知生成网络（CAGN）。CAGN 包括两个阶段：第一阶段是用于潜在云区域检测的循环卷积网络，第二阶段是用于去除云的自动编码器。该方法使用侧引导方法，在第一阶段添加注意力机制以帮助预测掩码。此外，为了自适应地更新掩模以贪婪地恢复退化的图像区域，该方法在自编码器中嵌入了部分卷积，以调节不同层厚云区域中像素的卷积计算。大量实验清楚地表明，与竞争基线模型相比，CAGN 可以轻松实现峰值信噪比 (PSNR) 和结构相似性指数 (SSIM) 的显着增加。该方法使用侧引导方法，在第一阶段添加注意力机制以帮助预测掩码。此外，为了自适应地更新掩模以贪婪地恢复退化的图像区域，该方法在自编码器中嵌入了部分卷积，以调节不同层厚云区域中像素的卷积计算。大量实验清楚地表明，与竞争基线模型相比，CAGN 可以轻松实现峰值信噪比 (PSNR) 和结构相似性指数 (SSIM) 的显着增加。该方法使用侧引导方法，在第一阶段添加注意力机制以帮助预测掩码。此外，为了自适应地更新掩模以贪婪地恢复退化的图像区域，该方法在自编码器中嵌入了部分卷积，以调节不同层厚云区域中像素的卷积计算。大量实验清楚地表明，与竞争基线模型相比，CAGN 可以轻松实现峰值信噪比 (PSNR) 和结构相似性指数 (SSIM) 的显着增加。该方法在自编码器中嵌入了部分卷积，以调节不同层厚云区域中像素的卷积计算。大量实验清楚地表明，与竞争基线模型相比，CAGN 可以轻松实现峰值信噪比 (PSNR) 和结构相似性指数 (SSIM) 的显着增加。该方法在自编码器中嵌入了部分卷积，以调节不同层厚云区域中像素的卷积计算。大量实验清楚地表明，与竞争基线模型相比，CAGN 可以轻松实现峰值信噪比 (PSNR) 和结构相似性指数 (SSIM) 的显着增加。