Many statistical learning models hold an assumption that the training data and the future unlabeled data are drawn from the same distribution. However, this assumption is difficult to fulfill in real-world scenarios and creates barriers in reusing existing labels from similar application domains. Transfer Learning is intended to relax this assumption by modeling relationships between domains, and is often applied in deep learning applications to reduce the demand for labeled data and training time. Despite recent advances in exploring deep learning models with visual analytics tools, little work has explored the issue of explaining and diagnosing the knowledge transfer process between deep learning models. In this paper, we present a visual analytics framework for the multi-level exploration of the transfer learning processes when training deep neural networks. Our framework establishes a multi-aspect design to explain how the learned knowledge from the existing model is transferred into the new learning task when training deep neural networks. Based on a comprehensive requirement and task analysis, we employ descriptive visualization with performance measures and detailed inspections of model behaviors from the statistical, instance, feature, and model structure levels. We demonstrate our framework through two case studies on image classification by fine-tuning AlexNets to illustrate how analysts can utilize our framework.

中文翻译：

---

用于解释和诊断迁移学习过程的可视化分析框架

许多统计学习模型都假设训练数据和未来的未标记数据来自相同的分布。然而，这个假设在现实世界中很难实现，并且在重用来自相似应用领域的现有标签时造成了障碍。迁移学习旨在通过建模域之间的关系来放宽这一假设，并且通常应用于深度学习应用程序中以减少对标记数据和训练时间的需求。尽管最近在使用可视化分析工具探索深度学习模型方面取得了进展，但很少有工作探索解释和诊断深度学习模型之间的知识转移过程的问题。在本文中，我们提出了一个可视化分析框架，用于在训练深度神经网络时对迁移学习过程进行多层次探索。我们的框架建立了一个多方面的设计来解释在训练深度神经网络时如何将现有模型中学到的知识转移到新的学习任务中。基于全面的需求和任务分析，我们采用描述性可视化，从统计、实例、特征和模型结构级别对模型行为进行性能测量和详细检查。我们通过微调 AlexNets 通过两个关于图像分类的案例研究来展示我们的框架，以说明分析师如何利用我们的框架。我们的框架建立了一个多方面的设计来解释在训练深度神经网络时如何将现有模型中学到的知识转移到新的学习任务中。基于全面的需求和任务分析，我们采用描述性可视化，从统计、实例、特征和模型结构级别对模型行为进行性能测量和详细检查。我们通过微调 AlexNets 通过两个关于图像分类的案例研究来展示我们的框架，以说明分析师如何利用我们的框架。我们的框架建立了一个多方面的设计来解释在训练深度神经网络时如何将现有模型中学到的知识转移到新的学习任务中。基于全面的需求和任务分析，我们采用描述性可视化，从统计、实例、特征和模型结构级别对模型行为进行性能测量和详细检查。我们通过微调 AlexNets 通过两个关于图像分类的案例研究来展示我们的框架，以说明分析师如何利用我们的框架。和模型结构层次。我们通过微调 AlexNets 通过两个关于图像分类的案例研究来展示我们的框架，以说明分析师如何利用我们的框架。和模型结构层次。我们通过微调 AlexNets 通过两个关于图像分类的案例研究来展示我们的框架，以说明分析师如何利用我们的框架。