As an important tool to study the microstructure and properties of materials, High Resolution Transmission Electron Microscope (HRTEM) images can obtain the lattice fringe image (reflecting the crystal plane spacing information), structure image and individual atom image (which reflects the configuration of atoms or atomic groups in crystal structure). Despite the rapid development of HTTEM devices, HRTEM images still have limited achievable resolution for human visual system. With the rapid development of deep learning technology in recent years, researchers are actively exploring the Super-resolution (SR) model based on deep learning, and the model has reached the current best level in various SR benchmarks. Using SR to reconstruct high-resolution HRTEM image is helpful to the material science research. However, there is one core issue that has not been resolved: most of these super-resolution methods require the training data to exist in pairs. In actual scenarios, especially for HRTEM images, there are no corresponding HR images. To reconstruct high quality HRTEM image, a novel Super-Resolution architecture for HRTEM images is proposed in this paper. Borrowing the idea from Dual Regression Networks (DRN), we introduce an additional dual regression structure to ESRGAN, by training the model with unpaired HRTEM images and paired nature images. Results of extensive benchmark experiments demonstrate that the proposed method achieves better performance than the most resent SISR methods with both quantitative and visual results.

中文翻译：

---

基于生成对抗网络的 HRTEM 图像超分辨率

高分辨率透射电子显微镜（HRTEM）图像作为研究材料微观结构和性能的重要工具，可以获得晶格条纹图像（反映晶面间距信息）、结构图像和单个原子图像（反映原子的构型）或晶体结构中的原子团）。尽管 HTTEM 设备发展迅速，但 HRTEM 图像对于人类视觉系统的可实现分辨率仍然有限。近年来随着深度学习技术的飞速发展，研究人员正在积极探索基于深度学习的超分辨率（SR）模型，该模型在各种SR基准测试中均达到了当前最佳水平。利用SR重建高分辨率HRTEM图像有助于材料科学研究。然而，有一个核心问题尚未解决：这些超分辨率方法中的大多数都要求训练数据成对存在。在实际场景中，尤其是 HRTEM 图像，并没有对应的 HR 图像。为了重建高质量的 HRTEM 图像，本文提出了一种新的 HRTEM 图像超分辨率架构。借鉴对偶回归网络 (DRN) 的想法，我们通过使用未配对的 HRTEM 图像和配对的自然图像训练模型，为 ESRGAN 引入了额外的对偶回归结构。广泛的基准实验结果表明，所提出的方法在定量和视觉结果方面都比最新的 SISR 方法具有更好的性能。特别是对于 HRTEM 图像，没有相应的 HR 图像。为了重建高质量的 HRTEM 图像，本文提出了一种新的 HRTEM 图像超分辨率架构。借鉴对偶回归网络 (DRN) 的想法，我们通过使用未配对的 HRTEM 图像和配对的自然图像训练模型，为 ESRGAN 引入了额外的对偶回归结构。广泛的基准实验结果表明，所提出的方法在定量和视觉结果方面都比最新的 SISR 方法具有更好的性能。特别是对于 HRTEM 图像，没有相应的 HR 图像。为了重建高质量的 HRTEM 图像，本文提出了一种新的 HRTEM 图像超分辨率架构。借鉴对偶回归网络 (DRN) 的想法，我们通过使用未配对的 HRTEM 图像和配对的自然图像训练模型，为 ESRGAN 引入了额外的对偶回归结构。广泛的基准实验结果表明，所提出的方法在定量和视觉结果方面都比最新的 SISR 方法具有更好的性能。我们通过使用未配对的 HRTEM 图像和配对的自然图像训练模型，为 ESRGAN 引入了一个额外的对偶回归结构。广泛的基准实验结果表明，所提出的方法在定量和视觉结果方面都比最新的 SISR 方法具有更好的性能。我们通过使用未配对的 HRTEM 图像和配对的自然图像训练模型，为 ESRGAN 引入了一个额外的对偶回归结构。广泛的基准实验结果表明，所提出的方法在定量和视觉结果方面都比最新的 SISR 方法具有更好的性能。