The Internet of Things and big data are currently hot concepts and research fields. The mining, classification, and recognition of big data in the Internet of Things system are the key links that are widely of concern at present. The artificial neural network is beneficial for multi-dimensional data classification and recognition because of its strong feature extraction and self-learning ability. Pre-training is an effective method to address the gradient diffusion problem in deep neural networks and could result in better generalization. This article focuses on the performance of supervised pre-training that uses labelled data. In particular, this pre-training procedure is a simulation that shows the changes in judgment patterns as they progress from primary to mature within the human brain. In this article, the state-of-the-art of neural network pre-training is reviewed. Then, the principles of the auto-encoder and supervised pre-training are introduced in detail. Furthermore, an extended structure of supervised pre-training is proposed. A set of experiments are carried out to compare the performances of different pre-training methods. These experiments include a comparison between the original and pre-trained networks as well as a comparison between the networks with two types of sub-network structures. In addition, a homemade database is established to analyze the influence of pre-training on the generalization ability of neural networks. Finally, an ordinary convolutional neural network is used to verify the applicability of supervised pre-training.

中文翻译：

---

物联网大数据识别模型的预训练方法及泛化能力研究

物联网和大数据是目前热门的概念和研究领域。物联网系统中大数据的挖掘、分类和识别是目前广受关注的关键环节。人工神经网络具有很强的特征提取和自学习能力，有利于多维数据的分类和识别。预训练是解决深度神经网络中梯度扩散问题的有效方法，并且可以产生更好的泛化。本文重点介绍使用标记数据的监督预训练的性能。特别是，这种预训练过程是一种模拟，它显示了判断模式在人脑内从初级到成熟时的变化。在本文中，回顾了神经网络预训练的最新技术。然后，详细介绍了自动编码器和监督预训练的原理。此外，提出了监督预训练的扩展结构。进行了一组实验来比较不同预训练方法的性能。这些实验包括原始网络和预训练网络之间的比较，以及具有两种子网络结构的网络之间的比较。此外，建立自制数据库，分析预训练对神经网络泛化能力的影响。最后，使用一个普通的卷积神经网络来验证监督预训练的适用性。详细介绍了自编码器和监督预训练的原理。此外，提出了监督预训练的扩展结构。进行了一组实验来比较不同预训练方法的性能。这些实验包括原始网络和预训练网络之间的比较，以及具有两种子网络结构的网络之间的比较。此外，建立自制数据库，分析预训练对神经网络泛化能力的影响。最后，使用一个普通的卷积神经网络来验证监督预训练的适用性。详细介绍了自编码器和监督预训练的原理。此外，提出了监督预训练的扩展结构。进行了一组实验来比较不同预训练方法的性能。这些实验包括原始网络和预训练网络之间的比较，以及具有两种子网络结构的网络之间的比较。此外，建立自制数据库，分析预训练对神经网络泛化能力的影响。最后，使用一个普通的卷积神经网络来验证监督预训练的适用性。进行了一组实验来比较不同预训练方法的性能。这些实验包括原始网络和预训练网络之间的比较，以及具有两种子网络结构的网络之间的比较。此外，建立自制数据库，分析预训练对神经网络泛化能力的影响。最后，使用一个普通的卷积神经网络来验证监督预训练的适用性。进行了一组实验来比较不同预训练方法的性能。这些实验包括原始网络和预训练网络之间的比较，以及具有两种子网络结构的网络之间的比较。此外，建立自制数据库，分析预训练对神经网络泛化能力的影响。最后，使用一个普通的卷积神经网络来验证监督预训练的适用性。