Generative Adversarial Networks (GANs) have made great progress in synthesizing realistic images in recent years. However, they are often trained on image datasets with either too few samples or too many classes belonging to different data distributions. Consequently, GANs are prone to underfitting or overfitting, making the analysis of them difficult and constrained. Therefore, in order to conduct a thorough study on GANs while obviating unnecessary interferences introduced by the datasets, we train them on artificial datasets where there are infinitely many samples and the real data distributions are simple, high-dimensional and have structured manifolds. Moreover, the generators are designed such that optimal sets of parameters exist. Empirically, we find that under various distance measures, the generator fails to learn such parameters with the GAN training procedure. In addition, we confirm that using mixtures of GANs is more beneficial than increasing the network depth or width when the model complexity is high enough. The benefit is partially due to the division of the generation and discrimination tasks across multiple generators and discriminators. We find that a mixture of generators can discover different modes or different classes automatically in the unsupervised setting. As an example of the generalizability of our conclusions to realistic datasets, we train a mixture of GANs on the CIFAR-10 dataset and our method significantly outperforms the state-of-the-art in terms of popular metrics, i.e., Inception Score (IS) and Fréchet Inception Distance (FID).

中文翻译：

---

在人工数据集上训练 GAN 的经验教训

近年来，生成对抗网络（GAN）在合成逼真图像方面取得了很大进展。然而，他们经常在样本太少或属于不同数据分布的类别太多的图像数据集上进行训练。因此，GAN 容易出现欠拟合或过拟合，这使得对它们的分析变得困难和受限。因此，为了对 GAN 进行深入研究，同时避免数据集引入的不必要干扰，我们在具有无限多样本且真实数据分布简单、高维且具有结构化流形的人工数据集上训练它们。此外，生成器的设计使得存在最佳参数集。根据经验，我们发现在各种距离测量下，生成器无法通过 GAN 训练程序学习这些参数。此外，我们确认当模型复杂度足够高时，使用 GAN 的混合比增加网络深度或宽度更有益。好处部分是由于跨多个生成器和鉴别器的生成和鉴别任务的划分。我们发现混合生成器可以在无监督设置中自动发现不同的模式或不同的类别。作为我们的结论对现实数据集的普遍性的一个例子，我们在 CIFAR-10 数据集上训练了 GAN 的混合体，我们的方法在流行指标方面显着优于最先进的技术，即初始分数（IS ) 和 Fréchet 起始距离 (FID)。我们确认，当模型复杂度足够高时，使用 GAN 的混合比增加网络深度或宽度更有益。好处部分是由于跨多个生成器和鉴别器的生成和鉴别任务的划分。我们发现混合生成器可以在无监督设置中自动发现不同的模式或不同的类别。作为我们的结论对现实数据集的普遍性的一个例子，我们在 CIFAR-10 数据集上训练了 GAN 的混合物，我们的方法在流行指标方面显着优于最先进的方法，即 Inception Score (IS ) 和 Fréchet 起始距离 (FID)。我们确认，当模型复杂度足够高时，使用 GAN 的混合比增加网络深度或宽度更有益。好处部分是由于跨多个生成器和鉴别器的生成和鉴别任务的划分。我们发现混合生成器可以在无监督设置中自动发现不同的模式或不同的类别。作为我们的结论对现实数据集的普遍性的一个例子，我们在 CIFAR-10 数据集上训练了 GAN 的混合体，我们的方法在流行指标方面显着优于最先进的技术，即初始分数（IS ) 和 Fréchet 起始距离 (FID)。好处部分是由于跨多个生成器和鉴别器的生成和鉴别任务的划分。我们发现混合生成器可以在无监督设置中自动发现不同的模式或不同的类别。作为我们的结论对现实数据集的普遍性的一个例子，我们在 CIFAR-10 数据集上训练了 GAN 的混合体，我们的方法在流行指标方面显着优于最先进的技术，即初始分数（IS ) 和 Fréchet 起始距离 (FID)。好处部分是由于跨多个生成器和鉴别器的生成和鉴别任务的划分。我们发现混合生成器可以在无监督设置中自动发现不同的模式或不同的类别。作为我们的结论对现实数据集的普遍性的一个例子，我们在 CIFAR-10 数据集上训练了 GAN 的混合体，我们的方法在流行指标方面显着优于最先进的技术，即初始分数（IS ) 和 Fréchet 起始距离 (FID)。