Auto-encoders are unsupervised deep learning models, which try to learn hidden representations to reconstruct the inputs. While the learned representations are suitable for applications related to unsupervised reconstruction, they may not be optimal for classification. In this paper, we propose a supervised auto-encoder (SupAE) with an addition classification layer on the representation layer to jointly predict targets and reconstruct inputs, so it can learn discriminative features specifically for classification tasks. We stack several SupAE and apply a greedy layer-by-layer training approach to learn the stacked supervised auto-encoder (SSupAE). Then an adaptive weighted majority voting algorithm is proposed to fuse the prediction results of SupAE and the SSupAE, because each individual SupAE and the final SSupAE can both get the posterior probability information of samples belong to each class, we introduce Shannon entropy to measure the classification ability for different samples based on the posterior probability information, and assign high weight to sample with low entropy, thus more reasonable weights are assigned to different samples adaptively. Finally, we fuse the different results of classification layer with the proposed adaptive weighted majority voting algorithm to get the final recognition results. Experimental results on several classification datasets show that our model can learn discriminative features and improve the classification performance significantly.

中文翻译：

---

具有附加分类层的堆叠式融合监督自动编码器

自动编码器是无监督的深度学习模型，它试图学习隐藏的表示形式以重建输入。虽然学习的表示适用于与无监督重构有关的应用程序，但对于分类可能不是最佳的。在本文中，我们提出了一种监督自动编码器（SupAE），该自动编码器在表示层上具有附加分类层，以共同预测目标并重构输入，因此它可以学习专门用于分类任务的判别特征。我们堆叠几个SupAE，并应用贪婪的逐层训练方法来学习堆叠的监督自动编码器（SSupAE）。然后提出一种自适应加权多数投票算法，将SupAE和SSupAE的预测结果融合在一起，由于每个个体SupAE和最终的SSupAE都可以获取属于每个类别的样本的后验概率信息，因此我们引入Shannon熵来基于后验概率信息来度量不同样本的分类能力，并为低熵的样本分配高权重，因此会将更多合理的权重自适应地分配给不同的样本。最后，将分类层的不同结果与提出的自适应加权多数投票算法融合，得到最终的识别结果。在多个分类数据集上的实验结果表明，我们的模型可以学习判别特征并显着提高分类性能。我们引入香农熵基于后验概率信息来度量不同样本的分类能力，并为低熵样本分配高权重，从而自适应地为不同样本分配更合理的权重。最后，我们将分类层的不同结果与提出的自适应加权多数投票算法融合，得到最终的识别结果。在多个分类数据集上的实验结果表明，我们的模型可以学习判别特征并显着提高分类性能。我们引入香农熵基于后验概率信息来度量不同样本的分类能力，并为低熵样本分配高权重，从而自适应地为不同样本分配更合理的权重。最后，我们将分类层的不同结果与提出的自适应加权多数投票算法融合，得到最终的识别结果。在多个分类数据集上的实验结果表明，我们的模型可以学习判别特征并显着提高分类性能。我们将分类层的不同结果与提出的自适应加权多数投票算法融合在一起，以获得最终的识别结果。在多个分类数据集上的实验结果表明，我们的模型可以学习判别特征并显着提高分类性能。我们将分类层的不同结果与提出的自适应加权多数投票算法融合在一起，以获得最终的识别结果。在多个分类数据集上的实验结果表明，我们的模型可以学习判别特征并显着提高分类性能。