Abstract The original data produced by the Shuttle Radar Topography Mission (SRTM) tend to have an abundance of voids in mountainous areas where the elevation measurements are missing. In this paper, deep learning models are investigated for restoring SRTM data. To this end, we explore generative adversarial nets, which represent one state-of-the-art family of deep learning models. A conditional generative adversarial network (CGAN) is introduced as the baseline method for filling voids in incomplete SRTM data. The problem regarding shadow violation that possibly arises from the CGAN restored data is investigated. To address this deficiency, shadow geometric constraints based on shadow maps of satellite images are devised. In addition, a shadow constrained conditional generative adversarial network (SCGAN), which incorporates the shadow geometric constraints into the CGAN, is developed. Training the SCGAN model requires both the remote sensing observations (i.e., the original incomplete SRTM data and satellite images) and the ground truth data (i.e., the complete SRTM data, which are manually refined from the incomplete SRTM data with the reference of in-situ measurements). The integration of the multi-source training data enables the SCGAN model to be characterized by comprehensive information including both mountain shape variation and mountain shadow geometry. Experimental results validate the superiority of the SCGAN over the comparison methods, i.e., the interpolation, the convolutional neural network (CNN) and the baseline CGAN, in SRTM data restoration.

中文翻译：

---

用于 SRTM 数据恢复的阴影约束条件生成对抗网络

摘要 航天飞机雷达地形任务（SRTM）产生的原始数据往往在高程测量缺失的山区存在大量空隙。在本文中，研究了用于恢复 SRTM 数据的深度学习模型。为此，我们探索了生成对抗网络，它代表了一个最先进的深度学习模型系列。引入了条件生成对抗网络 (CGAN) 作为填充不完整 SRTM 数据中空隙的基线方法。调查CGAN恢复数据可能引起的影子违规问题。为了解决这个缺陷，设计了基于卫星图像阴影图的阴影几何约束。此外，一个阴影约束条件生成对抗网络（SCGAN），将阴影几何约束合并到 CGAN 中。训练 SCGAN 模型需要遥感观测（即原始不完整的 SRTM 数据和卫星图像）和地面实况数据（即完整的 SRTM 数据，这些数据是从不完整的 SRTM 数据中参考 in-现场测量）。多源训练数据的整合使 SCGAN 模型能够以包括山形变化和山影几何的综合信息为特征。实验结果验证了 SCGAN 在 SRTM 数据恢复中优于比较方法，即插值、卷积神经网络 (CNN) 和基线 CGAN。训练 SCGAN 模型需要遥感观测（即原始不完整的 SRTM 数据和卫星图像）和地面实况数据（即完整的 SRTM 数据，这些数据是从不完整的 SRTM 数据中手动提炼出来的，参考 in-现场测量）。多源训练数据的整合使 SCGAN 模型能够以包括山形变化和山影几何的综合信息为特征。实验结果验证了 SCGAN 在 SRTM 数据恢复中优于比较方法，即插值、卷积神经网络 (CNN) 和基线 CGAN。训练 SCGAN 模型需要遥感观测（即原始不完整的 SRTM 数据和卫星图像）和地面实况数据（即完整的 SRTM 数据，这些数据是从不完整的 SRTM 数据中参考 in-现场测量）。多源训练数据的整合使 SCGAN 模型能够以包括山形变化和山影几何的综合信息为特征。实验结果验证了 SCGAN 在 SRTM 数据恢复中优于比较方法，即插值、卷积神经网络 (CNN) 和基线 CGAN。这些数据是从不完整的 SRTM 数据与原位测量的参考手动提炼的）。多源训练数据的整合使 SCGAN 模型能够以包括山形变化和山影几何的综合信息为特征。实验结果验证了 SCGAN 在 SRTM 数据恢复中优于比较方法，即插值、卷积神经网络 (CNN) 和基线 CGAN。这些数据是从不完整的 SRTM 数据与原位测量的参考手动提炼的）。多源训练数据的整合使 SCGAN 模型能够以包括山形变化和山影几何的综合信息为特征。实验结果验证了 SCGAN 在 SRTM 数据恢复中优于比较方法，即插值、卷积神经网络 (CNN) 和基线 CGAN。