Evolutionary paradigms have been successfully applied to neural network designs for two decades. Unfortunately, these methods cannot scale well to the modern deep neural networks due to the complicated architectures and large quantities of connection weights. In this paper, we propose a new method using genetic algorithms for evolving the architectures and connection weight initialization values of a deep convolutional neural network to address image classification problems. In the proposed algorithm, an efficient variable-length gene encoding strategy is designed to represent the different building blocks and the potentially optimal depth in convolutional neural networks. In addition, a new representation scheme is developed for effectively initializing connection weights of deep convolutional neural networks, which is expected to avoid networks getting stuck into local minimum that is typically a major issue in the backward gradient-based optimization. Furthermore, a novel fitness evaluation method is proposed to speed up the heuristic search with substantially less computational resource. The proposed algorithm is examined and compared with 22 existing algorithms on nine widely used image classification tasks, including the state-of-the-art methods. The experimental results demonstrate the remarkable superiority of the proposed algorithm over the state-of-the-art designs in terms of classification error rate and the number of parameters (weights).

中文翻译：

---

用于图像分类的深度卷积神经网络的进化

进化范式已成功应用于神经网络设计二十年。不幸的是，由于复杂的架构和大量的连接权重，这些方法不能很好地扩展到现代深度神经网络。在本文中，我们提出了一种使用遗传算法改进深度卷积神经网络的架构和连接权重初始化值的新方法，以解决图像分类问题。在所提出的算法中，设计了一种有效的可变长度基因编码策略来表示卷积神经网络中的不同构建块和潜在的最佳深度。此外，还开发了一种新的表示方案，用于有效初始化深度卷积神经网络的连接权重，这有望避免网络陷入局部最小值，这通常是基于后向梯度的优化中的一个主要问题。此外，提出了一种新的适应度评估方法，以显着减少计算资源来加速启发式搜索。在九个广泛使用的图像分类任务上，对所提出的算法进行了检查，并与 22 种现有算法进行了比较，包括最先进的方法。实验结果表明，所提出的算法在分类错误率和参数（权重）数量方面优于最先进的设计。提出了一种新的适应度评估方法，以显着减少计算资源来加速启发式搜索。在九个广泛使用的图像分类任务上，对所提出的算法进行了检查，并与 22 种现有算法进行了比较，包括最先进的方法。实验结果表明，所提出的算法在分类错误率和参数（权重）数量方面优于最先进的设计。提出了一种新的适应度评估方法，以显着减少计算资源来加速启发式搜索。在九个广泛使用的图像分类任务上，对所提出的算法进行了检查，并与 22 种现有算法进行了比较，包括最先进的方法。实验结果表明，所提出的算法在分类错误率和参数（权重）数量方面优于最先进的设计。