Recently, deep learning based inpainting methods have shown promising performance, in which some multi-scale networks are introduced to characterize image content in both details and structures. However, few of these networks explore local spatial components under different receptive fields and internal connection between multi-scale feature maps. In this paper, we propose a novel multi-scale attention network (MSA-Net) to fill the irregular missing regions, in which a multi-scale attention group (MSAG) with several multi-scale attention units (MSAUs) is introduced for fully analysing the features from shallow details to high-level semantics. In each MSAU, an attention based spatial pyramid structure is designed to capture the deep features from different receptive fields. In this network, attention mechanisms are explored for boosting the representation power of MSAU, where spatial attention is combined with each scale to highlight the most probably attentive spatial components and the channel attention is used as a globally semantic detector to build the connection between the multiple scales. Furthermore, for better inpainting results, a max pooling based mask update method is utilized to predict the missing parts from the border regions to the inside. Finally, experiments on Places2 dataset and CelebA dataset demonstrate that the proposed method can achieve better results than the previous inpainting methods.

近年来，基于深度学习的修复方法已显示出令人鼓舞的性能，其中引入了一些多尺度网络来表征图像内容的细节和结构。但是，这些网络中很少有研究在不同接受场和多尺度特征图之间的内部联系下的局部空间成分。在本文中，我们提出了一种新颖的多尺度注意力网络（MSA-Net）来填充不规则的缺失区域，其中引入了具有多个多尺度注意力单元（MSAU）的多尺度注意力小组（MSAG）分析从浅层细节到高级语义的特征。在每个MSAU中，都设计了一种基于注意力的空间金字塔结构，以捕获来自不同接受场的深层特征。在这个网络中 探索了注意力机制来增强MSAU的表示能力，其中将空间注意力与每个尺度组合在一起以突出显示最可能的注意力空间成分，并且将通道注意力用作全局语义检测器以建立多个尺度之间的连接。此外，为了获得更好的修复效果，利用基于最大池的蒙版更新方法来预测从边界区域到内部的缺失部分。最后，在Places2数据集和CelebA数据集上的实验表明，该方法可以比以前的修复方法获得更好的效果。其中，空间注意力与每个尺度相结合以突出显示最可能的注意力空间成分，而渠道注意力被用作全局语义检测器，以建立多个尺度之间的联系。此外，为了获得更好的修复效果，利用基于最大池的蒙版更新方法来预测从边界区域到内部的缺失部分。最后，在Places2数据集和CelebA数据集上的实验表明，所提出的方法可以比以前的修复方法获得更好的结果。其中，空间注意力与每个尺度相结合以突出显示最可能的注意力空间成分，而渠道注意力被用作全局语义检测器，以建立多个尺度之间的联系。此外，为了获得更好的修复效果，利用基于最大池的蒙版更新方法来预测从边界区域到内部的缺失部分。最后，在Places2数据集和CelebA数据集上的实验表明，该方法可以比以前的修复方法获得更好的效果。