当前位置: X-MOL 学术IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Attention-Based Tri-UNet for Remote Sensing Image Pan-Sharpening
IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ( IF 5.5 ) Pub Date : 2021-03-23 , DOI: 10.1109/jstars.2021.3068274
Wanwan Zhang , Jinjiang Li , Zhen Hua

Pan-sharpening of remote sensing images is a significant method for integrating remote sensing information in the field of computer vision, where complementary and redundant information between multispectral (MS) images and panchromatic (PAN) images is used to generate high-resolution MS (HRMS) images. Inspired by the remarkable achievements of convolutional neural networks in a variety of computer-vision tasks, we incorporate domain-specific knowledge to design our attention-based triangle UNet (Tri-UNet) architecture to generate high-quality HRMS images. The attention-based Tri-UNet is mainly divided into the following three modules: 1) feature extraction; 2) feature fusion; and 3) image reconstruction. In the feature extraction step, the feature extraction module simultaneously extracts spectral and spatial information from the MS and PAN images. The feature maps are then fused in the feature fusion module, which makes the final feature image contain rich spectral and spatial information. Finally, the image reconstruction module generates a high-resolution MS image that uses the fused image as input. The attention mechanism is introduced into the image reconstruction module to make the network focus more on key information in the feature image. The experimental results demonstrate that the proposed method can generate high-quality HRMS images. A quantitative comparison and qualitative analysis of the experimental results indicate that our method is superior to the existing methods.

中文翻译:

基于注意力的Tri-UNet用于遥感影像的全屏锐化

遥感图像的全景锐化是在计算机视觉领域集成遥感信息的一种重要方法,其中多光谱(MS)图像和全色(PAN)图像之间的互补和冗余信息用于生成高分辨率MS(HRMS) ) 图片。受卷积神经网络在各种计算机视觉任务中取得的非凡成就的启发,我们结合了特定领域的知识,设计了基于注意力的三角UNet(Tri-UNet)体系结构,以生成高质量的HRMS图像。基于注意力的Tri-UNet主要分为以下三个模块:1)特征提取;2)特征融合;3)图像重建。在特征提取步骤中,特征提取模块同时从MS和PAN​​图像中提取光谱和空间信息。然后在特征融合模块中融合特征图,这使得最终的特征图像包含丰富的光谱和空间信息。最后,图像重建模块生成高分辨率MS图像,该图像使用融合图像作为输入。注意机制被引入到图像重建模块中,以使网络更多地关注特征图像中的关键信息。实验结果表明,该方法可以生成高质量的HRMS图像。实验结果的定量比较和定性分析表明,我们的方法优于现有方法。这使得最终的特征图像包含丰富的光谱和空间信息。最后,图像重建模块生成高分辨率MS图像,该图像使用融合图像作为输入。注意机制被引入到图像重建模块中,以使网络更多地关注特征图像中的关键信息。实验结果表明,该方法可以生成高质量的HRMS图像。实验结果的定量比较和定性分析表明,我们的方法优于现有方法。这使得最终的特征图像包含丰富的光谱和空间信息。最后,图像重建模块生成高分辨率MS图像,该图像使用融合图像作为输入。注意机制被引入到图像重建模块中,以使网络更多地关注特征图像中的关键信息。实验结果表明,该方法可以生成高质量的HRMS图像。实验结果的定量比较和定性分析表明,我们的方法优于现有方法。注意机制被引入到图像重建模块中,以使网络更多地关注特征图像中的关键信息。实验结果表明,该方法可以生成高质量的HRMS图像。实验结果的定量比较和定性分析表明,我们的方法优于现有方法。注意机制被引入到图像重建模块中,以使网络更多地关注特征图像中的关键信息。实验结果表明,该方法可以生成高质量的HRMS图像。实验结果的定量比较和定性分析表明,我们的方法优于现有方法。
更新日期:2021-04-16
down
wechat
bug