In this paper, we address the challenging points of binocular disparity estimation: (1) unsatisfactory results in the occluded region when utilizing warping function in unsupervised learning; (2) inefficiency in running time and the number of parameters as adopting a lot of 3D convolutions in the feature matching module. To solve these drawbacks, we propose a patch attention network for semi-supervised stereo matching learning. First, we employ a channel-attention mechanism to aggregate the cost volume by selecting its different surfaces for reducing a large number of 3D convolution, called the patch attention network (PA-Net). Second, we use our proposed PA-Net as a generator and then combine it, traditional unsupervised learning loss, and the adversarial learning model to construct a semi-supervised learning framework for improving performance in the occluded areas. We have trained our PA-Net in supervised learning, semi-supervised learning, and unsupervised learning manners. Extensive experiments show that (1) our semi-supervised learning framework can overcome the drawbacks of unsupervised learning and significantly improve the performance in the ill-posed region by using only a few or inaccurate ground truths; (2) our PA-Net can outperform other state-of-the-art approaches in supervised learning and use fewer parameters.

中文翻译：

---

用于半监督双目视差预测的具有生成对抗模型的补丁注意网络

在本文中，我们解决了双目视差估计的挑战点：（1）在无监督学习中使用变形函数时，遮挡区域的结果不令人满意；(2) 由于在特征匹配模块中采用了大量的3D卷积，运行时间和参数数量效率低下。为了解决这些缺点，我们提出了一种用于半监督立体匹配学习的补丁注意网络。首先，我们采用通道注意机制通过选择不同的表面来减少大量 3D 卷积来聚合成本量，称为补丁注意网络 (PA-Net)。其次，我们使用我们提出的 PA-Net 作为生成器，然后将它与传统的无监督学习损失相结合，对抗性学习模型构建半监督学习框架，以提高遮挡区域的性能。我们已经在监督学习、半监督学习和无监督学习方式中训练了我们的 PA-Net。大量实验表明（1）我们的半监督学习框架可以克服无监督学习的缺点，并通过仅使用少数或不准确的地面实况显着提高不适定区域的性能；(2) 我们的 PA-Net 在监督学习中可以胜过其他最先进的方法，并且使用更少的参数。大量实验表明（1）我们的半监督学习框架可以克服无监督学习的缺点，并通过仅使用少数或不准确的地面实况显着提高不适定区域的性能；(2) 我们的 PA-Net 在监督学习中可以胜过其他最先进的方法，并且使用更少的参数。大量实验表明（1）我们的半监督学习框架可以克服无监督学习的缺点，并通过仅使用少数或不准确的地面实况显着提高不适定区域的性能；(2) 我们的 PA-Net 在监督学习中可以胜过其他最先进的方法，并且使用更少的参数。