One of the major shortcomings of variational autoencoders is the inability to produce generations from the individual modalities of data originating from mixture distributions. This is primarily due to the use of a simple isotropic Gaussian as the prior for the latent code in the ancestral sampling procedure for data generations. In this paper, we propose a novel formulation of variational autoencoders, conditional prior VAE (CP-VAE), with a two-level generative process for the observed data where continuous z and a discrete c variables are introduced in addition to the observed variables x. By learning data-dependent conditional priors, the new variational objective naturally encourages a better match between the posterior and prior conditionals, and the learning of the latent categories encoding the major source of variation of the original data in an unsupervised manner. Through sampling continuous latent code from the data-dependent conditional priors, we are able to generate new samples from the individual mixture components corresponding, to the multimodal structure over the original data. Moreover, we unify and analyse our objective under different independence assumptions for the joint distribution of the continuous and discrete latent variables. We provide an empirical evaluation on one synthetic dataset and three image datasets, FashionMNIST, MNIST, and Omniglot, illustrating the generative performance of our new model comparing to multiple baselines.

中文翻译：

---

多模态数据无监督学习的数据相关条件先验

变分自编码器的主要缺点之一是无法从源自混合分布的单个数据模态生成代。这主要是由于在数据生成的祖先采样过程中使用简单的各向同性高斯作为潜在代码的先验。在本文中，我们提出了一种新的变分自编码器公式，即条件先验 VAE (CP-VAE)，对观测数据进行两级生成过程，其中除了观测变量 x 之外，还引入了连续 z 和离散 c 变量. 通过学习依赖于数据的条件先验，新的变分目标自然会鼓励后验条件和先验条件之间的更好匹配，以及以无监督的方式学习编码原始数据的主要变异来源的潜在类别。通过从依赖于数据的条件先验中采样连续的潜在代码，我们能够从对应于原始数据上的多模态结构的各个混合成分中生成新样本。此外，我们在连续和离散潜在变量的联合分布的不同独立假设下统一和分析我们的目标。我们对一个合成数据集和三个图像数据集（FashionMNIST、MNIST 和 Omniglot）进行了实证评估，说明了我们的新模型与多个基线相比的生成性能。我们能够从对应于原始数据上的多模态结构的各个混合成分生成新样本。此外，我们在连续和离散潜在变量的联合分布的不同独立假设下统一和分析我们的目标。我们对一个合成数据集和三个图像数据集（FashionMNIST、MNIST 和 Omniglot）进行了实证评估，说明了我们的新模型与多个基线相比的生成性能。我们能够从对应于原始数据上的多模态结构的各个混合成分生成新样本。此外，我们在连续和离散潜在变量的联合分布的不同独立假设下统一和分析我们的目标。我们对一个合成数据集和三个图像数据集（FashionMNIST、MNIST 和 Omniglot）进行了实证评估，说明了我们的新模型与多个基线相比的生成性能。