Domain Adaptation (DA) is a highly relevant research topic when it comes to image classification with deep neural networks. Combining multiple source domains in a sophisticated way to optimize a classification model can improve the generalization to a target domain. Here, the difference in data distributions of source and target image datasets plays a major role. In this paper, we describe based on a theory of visual factors how real-world scenes appear in images in general and how recent DA datasets are composed of such. We show that different domains can be described by a set of so called domain factors, whose values are consistent within a domain, but can change across domains. Many DA approaches try to remove all domain factors from the feature representation to be domain invariant. In this paper we show that this can lead to negative transfer since task-informative factors can get lost as well. To address this, we propose Factor-Preserving DA (FP-DA), a method to train a deep adversarial unsupervised DA model, which is able to preserve specific task relevant factors in a multi-domain scenario. We demonstrate on CORe50 how such factors can be identified by standard one-to-one transfer experiments between single domains combined with PCA. By applying FP-DA, we show that the highest average and minimum performance can be achieved. We also report improved performance for an adapted version of the OpenLORIS object dataset.

在使用深度神经网络进行图像分类时，域适应 (DA) 是一个高度相关的研究课题。以复杂的方式组合多个源域来优化分类模型可以改进对目标域的泛化。在这里，源图像数据集和目标图像数据集的数据分布差异起主要作用。在本文中，我们基于视觉因素理论描述了现实世界中的场景一般如何出现在图像中，以及最近的 DA 数据集是如何组成的。我们展示了不同的领域可以用一组所谓的领域因素来描述，这些因素的值在一个领域内是一致的，但可以跨领域变化。许多 DA 方法试图从特征表示中删除所有域因素以使其具有域不变性。在本文中，我们表明这会导致负迁移，因为任务信息因素也会丢失。为了解决这个问题，我们提出了 Factor-Preserving DA (FP-DA)，这是一种训练深度对抗性无监督 DA 模型的方法，它能够在多领域场景中保留特定任务相关的因素。我们在 CORe50 上演示了如何通过结合 PCA 的单域之间的标准一对一转移实验来识别这些因素。通过应用 FP-DA，我们表明可以实现最高的平均性能和最低性能。我们还报告了 OpenLORIS 对象数据集的改编版本的性能改进。它能够在多域场景中保留特定的任务相关因素。我们在 CORe50 上演示了如何通过结合 PCA 的单域之间的标准一对一转移实验来识别这些因素。通过应用 FP-DA，我们表明可以实现最高的平均性能和最低性能。我们还报告了 OpenLORIS 对象数据集的改编版本的性能改进。它能够在多域场景中保留特定的任务相关因素。我们在 CORe50 上演示了如何通过结合 PCA 的单域之间的标准一对一转移实验来识别这些因素。通过应用 FP-DA，我们表明可以实现最高的平均性能和最低性能。我们还报告了 OpenLORIS 对象数据集的改编版本的性能改进。