Modality-invariant categorical representations, i.e., shared representation, is thought to play a key role in learning to categorize multi-modal information. We have investigated how a bimodal autoencoder can form a shared representation in an unsupervised manner with multi-modal data. We explored whether altering the depth of the network and mixing the multi-modal inputs at the input layer affect the development of the shared representations. Based on the activation of units in the hidden layers, we classified them into four different types: visual cells, auditory cells, inconsistent visual and auditory cells, and consistent visual and auditory cells. Our results show that the number and quality of the last type (i.e., shared representation) significantly differ depending on the depth of the network and are enhanced when the network receives mixed inputs as opposed to separate inputs for each modality, as occurs in typical two-stage frameworks. In the present work, we present a way to utilize information theory to understand the abstract representations formed in the hidden layers of the network. We believe that such an information theoretic approach could potentially provide insights into the development of more efficient and cost-effective ways to train neural networks using qualitative measures of the representations that cannot be captured by analyzing only the final outputs of the networks.

中文翻译：

---

揭示共享表征形成的信息论方法

模态不变的分类表示，即共享表示，被认为在学习对多模态信息进行分类方面起着关键作用。我们已经研究了双峰自动编码器如何以无监督的方式与多峰数据形成共享表示。我们探讨了改变网络深度和在输入层混合多模态输入是否会影响共享表示的发展。根据隐藏层单元的激活情况，我们将它们分为四种不同的类型：视觉细胞、听觉细胞、不一致的视觉和听觉细胞以及一致的视觉和听觉细胞。我们的结果表明，最后一种类型的数量和质量（即，共享表示）根据网络的深度而显着不同，并且当网络接收混合输入而不是每个模态的单独输入时会得到增强，如典型的两阶段框架中发生的那样。在目前的工作中，我们提出了一种利用信息论来理解网络隐藏层中形成的抽象表示的方法。我们相信，这种信息理论方法可能会为开发更有效、更具成本效益的神经网络训练方法提供见解，该方法使用仅通过分析网络的最终输出无法捕获的表征的定性度量来训练神经网络。我们提出了一种利用信息论来理解网络隐藏层中形成的抽象表示的方法。我们相信，这种信息理论方法可能会为开发更有效、更具成本效益的神经网络训练方法提供见解，该方法使用仅通过分析网络的最终输出无法捕获的表征的定性度量来训练神经网络。我们提出了一种利用信息论来理解网络隐藏层中形成的抽象表示的方法。我们相信，这种信息理论方法可能会为开发更有效和更具成本效益的神经网络训练方法提供见解，该方法使用仅通过分析网络的最终输出无法捕获的表征的定性度量来训练神经网络。