Deep convolutional neural networks have considerably improved state-of-the-art results for semantic segmentation. Nevertheless, even modern architectures lack the ability to generalize well to a test dataset that originates from a different domain. To avoid the costly annotation of training data for unseen domains, unsupervised domain adaptation (UDA) attempts to provide efficient knowledge transfer from a labeled source domain to an unlabeled target domain. Previous work has mainly focused on minimizing the discrepancy between the two domains by using adversarial training or self-training. While adversarial training may fail to align the correct semantic categories as it minimizes the discrepancy between the global distributions, self-training raises the question of how to provide reliable pseudo-labels. To align the correct semantic categories across domains, we propose a contrastive learning approach that adapts category-wise centroids across domains. Furthermore, we extend our method with self-training, where we use a memory-efficient temporal ensemble to generate consistent and reliable pseudo-labels. Although both contrastive learning and self-training (CLST) through temporal ensembling enable knowledge transfer between two domains, it is their combination that leads to a symbiotic structure. We validate our approach on two domain adaptation benchmarks: GTA5 $\rightarrow$ Cityscapes and SYNTHIA $\rightarrow$ Cityscapes. Our method achieves better or comparable results than the state-of-the-art. We will make the code publicly available.

中文翻译：

---

语义分割中无监督域自适应的对比学习和自我训练

深度卷积神经网络已大大改善了语义分割的最新技术成果。但是，即使是现代体系结构，也无法很好地归纳到源自不同领域的测试数据集。为了避免对看不见的域进行昂贵的训练数据注释，无监督域适应（UDA）尝试提供从标记源域到未标记目标域的有效知识转移。先前的工作主要集中在通过对抗训练或自我训练来最小化两个领域之间的差异。虽然对抗训练可能无法使正确的语义类别保持一致，因为它会使全局分布之间的差异最小化，但是自我训练提出了如何提供可靠的伪标签的问题。为了使跨域的正确语义类别对齐，我们提出了一种对比学习方法，该方法可跨域适应类别智能质心。此外，我们通过自训练扩展了我们的方法，在此方法中，我们使用内存有效的时间集合来生成一致且可靠的伪标签。尽管通过时间整合进行的对比学习和自我训练（CLST）都可以在两个领域之间进行知识转移，但是它们的结合导致了共生结构。我们在两个域适应基准上验证了我们的方法：GTA5 $ \ rightarrow $ Cityscapes和SYNTHIA $ \ rightarrow $ Cityscapes。与最新技术相比，我们的方法可获得更好或可比的结果。我们将使代码公开可用。此外，我们通过自训练扩展了我们的方法，在此方法中，我们使用内存有效的时间集合来生成一致且可靠的伪标签。尽管通过时间整合进行的对比学习和自我训练（CLST）都可以在两个领域之间进行知识转移，但是它们的结合导致了共生结构。我们在两个域适应基准上验证了我们的方法：GTA5 $ \ rightarrow $ Cityscapes和SYNTHIA $ \ rightarrow $ Cityscapes。与最新技术相比，我们的方法可获得更好或可比的结果。我们将使代码公开可用。此外，我们通过自训练扩展了我们的方法，在此方法中，我们使用内存有效的时间集合来生成一致且可靠的伪标签。尽管通过时间整合进行的对比学习和自我训练（CLST）都可以在两个领域之间进行知识转移，但是它们的结合导致了共生结构。我们在两个域适应基准上验证了我们的方法：GTA5 $ \ rightarrow $ Cityscapes和SYNTHIA $ \ rightarrow $ Cityscapes。与最新技术相比，我们的方法可获得更好或可比的结果。我们将使代码公开可用。尽管通过时间整合进行的对比学习和自我训练（CLST）都可以在两个领域之间进行知识转移，但是它们的结合导致了共生结构。我们在两个域适应基准上验证了我们的方法：GTA5 $ \ rightarrow $ Cityscapes和SYNTHIA $ \ rightarrow $ Cityscapes。与最新技术相比，我们的方法可获得更好或可比的结果。我们将使代码公开可用。尽管通过时间整合进行的对比学习和自我训练（CLST）都可以在两个领域之间进行知识转移，但是它们的结合导致了共生结构。我们在两个域适应基准上验证了我们的方法：GTA5 $ \ rightarrow $ Cityscapes和SYNTHIA $ \ rightarrow $ Cityscapes。与最新技术相比，我们的方法可获得更好或可比的结果。我们将使代码公开可用。