Over the past few years, neural networks have exhibited remarkable results for various applications in machine learning and computer vision. Weight initialization is a significant step employed before training any neural network. The weights of a network are initialized and then adjusted repeatedly while training the network. This is done till the loss converges to a minimum value and an ideal weight matrix is obtained. Thus weight initialization directly drives the convergence of a network. Therefore, the selection of an appropriate weight initialization scheme becomes necessary for end-to-end training. An appropriate technique initializes the weights such that the training of the network is accelerated and the performance is improved. This paper discusses various advances in weight initialization for neural networks. The weight initialization techniques in the literature adopted for feed-forward neural network, convolutional neural network, recurrent neural network and long short term memory network have been discussed in this paper. These techniques are classified as (1) initialization techniques without pre-training, which are further classified into random initialization and data-driven initialization, (2) initialization techniques with pre-training. The different weight initialization and weight optimization techniques which select optimal weights for non-iterative training mechanism have also been discussed. We provide a close overview of different initialization schemes in these categories. This paper concludes with discussions on existing schemes and the future scope for research.

在过去的几年里，神经网络在机器学习和计算机视觉的各种应用中都表现出了显着的成果。权重初始化是训练任何神经网络之前采用的重要步骤。网络的权重被初始化，然后在训练网络时反复调整。这样做直到损失收敛到最小值并获得理想的权重矩阵。因此权重初始化直接驱动网络的收敛。因此，端到端训练需要选择合适的权重初始化方案。适当的技术初始化权重，从而加速网络的训练并提高性能。本文讨论了神经网络权重初始化的各种进展。本文讨论了文献中前馈神经网络、卷积神经网络、循环神经网络和长短期记忆网络所采用的权重初始化技术。这些技术分为（1）没有预训练的初始化技术，进一步分为随机初始化和数据驱动的初始化，（2）有预训练的初始化技术。还讨论了为非迭代训练机制选择最佳权重的不同权重初始化和权重优化技术。我们提供了这些类别中不同初始化方案的详细概述。本文最后讨论了现有的方案和未来的研究范围。本文讨论了卷积神经网络、循环神经网络和长短期记忆网络。这些技术分为（1）没有预训练的初始化技术，进一步分为随机初始化和数据驱动的初始化，（2）有预训练的初始化技术。还讨论了为非迭代训练机制选择最佳权重的不同权重初始化和权重优化技术。我们提供了这些类别中不同初始化方案的详细概述。本文最后讨论了现有的方案和未来的研究范围。本文讨论了卷积神经网络、循环神经网络和长短期记忆网络。这些技术分为（1）没有预训练的初始化技术，进一步分为随机初始化和数据驱动的初始化，（2）有预训练的初始化技术。还讨论了为非迭代训练机制选择最佳权重的不同权重初始化和权重优化技术。我们提供了这些类别中不同初始化方案的详细概述。本文最后讨论了现有的方案和未来的研究范围。这些技术分为（1）没有预训练的初始化技术，进一步分为随机初始化和数据驱动的初始化，（2）有预训练的初始化技术。还讨论了为非迭代训练机制选择最佳权重的不同权重初始化和权重优化技术。我们提供了这些类别中不同初始化方案的详细概述。本文最后讨论了现有的方案和未来的研究范围。这些技术分为（1）没有预训练的初始化技术，进一步分为随机初始化和数据驱动的初始化，（2）有预训练的初始化技术。还讨论了为非迭代训练机制选择最佳权重的不同权重初始化和权重优化技术。我们提供了这些类别中不同初始化方案的详细概述。本文最后讨论了现有的方案和未来的研究范围。还讨论了为非迭代训练机制选择最佳权重的不同权重初始化和权重优化技术。我们提供了这些类别中不同初始化方案的详细概述。本文最后讨论了现有的方案和未来的研究范围。还讨论了为非迭代训练机制选择最佳权重的不同权重初始化和权重优化技术。我们提供了这些类别中不同初始化方案的详细概述。本文最后讨论了现有的方案和未来的研究范围。