当前位置: X-MOL 学术Remote Sens. Environ. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Utilizing unsupervised learning, multi-view imaging, and CNN-based attention facilitates cost-effective wetland mapping
Remote Sensing of Environment ( IF 13.5 ) Pub Date : 2021-10-22 , DOI: 10.1016/j.rse.2021.112757
Qiao Hu 1 , Wayne Woldt 2 , Christopher Neale 3 , Yuzhen Zhou 4 , Jeff Drahota 5 , Dana Varner 6 , Andy Bishop 6 , Ted LaGrange 7 , Ligang Zhang 1 , Zhenghong Tang 8
Affiliation  

The combination of Unmanned/Unoccupied Aerial Vehicle (UAV) data and deep learning, especially convolutional neural networks (CNNs), offers robust new tools for precision land cover mapping. However, its successful application is highly dependent on local experiences that are rarely documented, resulting in practical limitations during implementation. Cost-effective deep learning frameworks for fast deployment are required. This study presents a deep learning adaptation framework, named Auto-UNet++, trying to streamline wetland mapping tasks (including training data labeling and organizing). The framework treats mapping tasks as an intact semantic segmentation pipeline and then integrates automatic strategies into each step to reduce human intervention. These automatic strategies are achieved by standard computer vision techniques, including multi-view (MV) imaging—highly overlapped UAV images over an area (for labeling/voting), unsupervised clustering (for labeling), multi-scale CNN (for feature extraction), and attention mechanism—a CNN design used to select informative features from input (for feature exploration/selection). The framework was tested on playa wetland mapping in the Rainwater Basin, Nebraska, USA, with multispectral UAV datasets. Generally, the multi-scale CNN mapping task achieved a high of 87% overall accuracy and over 90% accuracy in water delineation. The results indicate that the multi-view and attention strategies have the potential to improve segmentation performance, and together with unsupervised learning, save considerable labor/expertise. Interestingly, evidence shows that the band/scale attention (weight) is adaptively associated with the land cover percentages per input image, indicating spatial contexts captured. This finding highlights the potential usages of the attention rule in automatic feature exploration, selection, and model interpretation. The framework illustrating a highly automated deep learning deployment on small MV datasets facilitates cost-effective wetland cover mapping. Although limitations exist, the study demonstrated the possibility of where/how conventional segmentation pipelines can be improved in typical UAV wetland mapping tasks. The framework and findings are useful for similar applications (including non-UAV studies) that only have limited time, labor, and expertise to implement sophisticated semantic segmentation models.



中文翻译:

利用无监督学习、多视图成像和基于 CNN 的注意力促进具有成本效益的湿地制图

无人驾驶/无人飞行器 (UAV) 数据和深度学习,尤其是卷积神经网络 (CNN) 的结合,为精确土地覆盖制图提供了强大的新工具。然而,其成功应用高度依赖于鲜有记录的当地经验,导致在实施过程中存在实际限制。需要用于快速部署的经济高效的深度学习框架。本研究提出了一个名为 Auto-UNet++ 的深度学习适应框架,试图简化湿地制图任务(包括训练数据标记和组织)。该框架将映射任务视为完整的语义分割管道,然后将自动策略集成到每个步骤中以减少人工干预。这些自动策略是通过标准的计算机视觉技术实现的,包括多视图 (MV) 成像——一个区域上高度重叠的无人机图像(用于标记/投票)、无监督聚类(用于标记)、多尺度 CNN(用于特征提取)和注意力机制——一种用于选择的 CNN 设计来自输入的信息特征(用于特征探索/选择)。该框架在美国内布拉斯加州雨水盆地的海滩湿地地图上进行了测试,使用多光谱无人机数据集。通常,多尺度 CNN 映射任务实现了高达 87% 的整体准确率和超过 90% 的水域划定准确率。结果表明,多视图和注意力策略有可能提高分割性能,并与无监督学习一起,节省大量劳动力/专业知识。有趣的是,证据表明,波段/尺度注意力(权重)与每个输入图像的土地覆盖百分比自适应相关,表明捕获的空间上下文。这一发现突出了注意规则在自动特征探索、选择和模型解释中的潜在用途。该框架展示了在小型 MV 数据集上的高度自动化深度学习部署,有助于实现经济高效的湿地覆盖映射。尽管存在局限性,但该研究证明了在典型的无人机湿地测绘任务中可以在哪里/如何改进传统分割管道的可能性。该框架和研究结果对于类似的应用(包括非无人机研究)很有用,这些应用只有有限的时间、劳动力和专业知识来实现​​复杂的语义分割模型。指示捕获的空间上下文。这一发现突出了注意规则在自动特征探索、选择和模型解释中的潜在用途。该框架展示了在小型 MV 数据集上的高度自动化深度学习部署,有助于实现经济高效的湿地覆盖映射。尽管存在局限性,但该研究证明了在典型的无人机湿地测绘任务中可以在哪里/如何改进传统分割管道的可能性。该框架和研究结果对于类似的应用(包括非无人机研究)很有用,这些应用只有有限的时间、劳动力和专业知识来实现​​复杂的语义分割模型。指示捕获的空间上下文。这一发现突出了注意规则在自动特征探索、选择和模型解释中的潜在用途。该框架展示了在小型 MV 数据集上的高度自动化深度学习部署,有助于实现经济高效的湿地覆盖映射。尽管存在局限性,但该研究证明了在典型的无人机湿地测绘任务中可以在哪里/如何改进传统分割管道的可能性。该框架和研究结果对于类似的应用(包括非无人机研究)很有用,这些应用只有有限的时间、劳动力和专业知识来实现​​复杂的语义分割模型。该框架展示了在小型 MV 数据集上的高度自动化深度学习部署,有助于实现经济高效的湿地覆盖映射。尽管存在局限性,但该研究证明了在典型的无人机湿地测绘任务中可以在哪里/如何改进传统分割管道的可能性。该框架和研究结果对于类似的应用(包括非无人机研究)很有用,这些应用只有有限的时间、劳动力和专业知识来实现​​复杂的语义分割模型。该框架展示了在小型 MV 数据集上的高度自动化深度学习部署,有助于实现经济高效的湿地覆盖映射。尽管存在局限性,但该研究证明了在典型的无人机湿地测绘任务中可以在哪里/如何改进传统分割管道的可能性。该框架和研究结果对于类似的应用(包括非无人机研究)很有用,这些应用只有有限的时间、劳动力和专业知识来实现​​复杂的语义分割模型。

更新日期:2021-10-22
down
wechat
bug