Abstract In the field of machine learning, it is still a critical issue to identify and supervise the learned representation without manually intervening or intuition assistance to extract useful knowledge or serve for the downstream tasks. In this work, we focus on supervising the influential factors extracted by the variational autoencoder (VAE). The VAE is proposed to learn independent low dimension representation while facing the problem that sometimes pre-set factors are ignored. We argue that the mutual information of the input and each learned factor of the representation plays a necessary indicator of discovering the influential factors. We find the VAE objective inclines to induce mutual information sparsity in factor dimension over the data intrinsic dimension and therefore result in some non-influential factors whose function on data reconstruction could be ignored. We show mutual information also influences the lower bound of VAE’s reconstruction error and downstream classification task. To make such indicator applicable, we design an algorithm for calculating the mutual information for VAE and prove its consistency. Experimental results on MNIST, CelebA and DEAP datasets show that mutual information can help determine influential factors, of which some are interpretable and can be used to further generation and classification tasks, and help discover the variant that connects with emotion on DEAP dataset.

中文翻译：

---

发现变分自编码器中的影响因素

摘要 在机器学习领域，识别和监督学习到的表征而不需要人工干预或直觉辅助来提取有用的知识或为下游任务服务仍然是一个关键问题。在这项工作中，我们专注于监督由变分自编码器（VAE）提取的影响因素。提出了 VAE 来学习独立的低维表示，同时面临着有时会忽略预设因素的问题。我们认为，输入的互信息和表示的每个学习因素起着发现影响因素的必要指标。我们发现 VAE 目标倾向于在数据内在维度上引入因子维度上的互信息稀疏性，因此导致一些非影响因素对数据重建的作用可以忽略不计。我们展示了互信息也会影响 VAE 的重建误差和下游分类任务的下限。为了使该指标适用，我们设计了一种计算 VAE 互信息的算法并证明其一致性。在 MNIST、CelebA 和 DEAP 数据集上的实验结果表明，互信息可以帮助确定影响因素，其中一些是可解释的，可用于进一步的生成和分类任务，并有助于在 DEAP 数据集上发现与情感相关的变体。我们展示了互信息也会影响 VAE 的重建误差和下游分类任务的下限。为了使该指标适用，我们设计了一种计算 VAE 互信息的算法并证明其一致性。在 MNIST、CelebA 和 DEAP 数据集上的实验结果表明，互信息可以帮助确定影响因素，其中一些是可解释的，可用于进一步的生成和分类任务，并有助于在 DEAP 数据集上发现与情感相关的变体。我们展示了互信息也会影响 VAE 的重建误差和下游分类任务的下限。为了使该指标适用，我们设计了一种计算 VAE 互信息的算法并证明其一致性。在 MNIST、CelebA 和 DEAP 数据集上的实验结果表明，互信息可以帮助确定影响因素，其中一些是可解释的，可用于进一步的生成和分类任务，并有助于在 DEAP 数据集上发现与情感相关的变体。