当前位置: X-MOL 学术Neural Comput. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Analyzing and Accelerating the Bottlenecks of Training Deep SNNs with Backpropagation
Neural Computation ( IF 2.9 ) Pub Date : 2020-12-01 , DOI: 10.1162/neco_a_01319
Ruizhi Chen 1 , Ling Li 1
Affiliation  

Spiking neural networks (SNNs) with the event-driven manner of transmitting spikes consume ultra-low power on neuromorphic chips. However, training deep SNNs is still challenging compared to convolutional neural networks (CNNs). The SNN training algorithms have not achieved the same performance as CNNs. In this letter, we aim to understand the intrinsic limitations of SNN training to design better algorithms. First, the pros and cons of typical SNN training algorithms are analyzed. Then it is found that the spatiotemporal backpropagation algorithm (STBP) has potential in training deep SNNs due to its simplicity and fast convergence. Later, the main bottlenecks of the STBP algorithm are analyzed, and three conditions for training deep SNNs with the STBP algorithm are derived. By analyzing the connection between CNNs and SNNs, we propose a weight initialization algorithm to satisfy the three conditions. Moreover, we propose an error minimization method and a modified loss function to further improve the training performance. Experimental results show that the proposed method achieves 91.53% accuracy on the CIFAR10 data set with 1% accuracy increase over the STBP algorithm and decreases the training epochs on the MNIST data set to 15 epochs (over 13 times speed-up compared to the STBP algorithm). The proposed method also decreases classification latency by over 25 times compared to the CNN-SNN conversion algorithms. In addition, the proposed method works robustly for very deep SNNs, while the STBP algorithm fails in a 19-layer SNN.

中文翻译:

分析和加速使用反向传播训练深度 SNN 的瓶颈

以事件驱动方式传输尖峰的尖峰神经网络 (SNN) 在神经形态芯片上消耗超低功耗。然而,与卷积神经网络 (CNN) 相比,训练深度 SNN 仍然具有挑战性。SNN 训练算法没有达到与 CNN 相同的性能。在这封信中,我们旨在了解 SNN 训练的内在局限性,以设计更好的算法。首先,分析典型SNN训练算法的优缺点。然后发现时空反向传播算法(STBP)由于其简单性和快速收敛而具有训练深度 SNN 的潜力。随后分析了STBP算法的主要瓶颈,推导出STBP算法训练深度SNN的三个条件。通过分析CNNs和SNNs之间的联系,我们提出了一个权重初始化算法来满足这三个条件。此外,我们提出了一种误差最小化方法和一种改进的损失函数,以进一步提高训练性能。实验结果表明,所提出的方法在 CIFAR10 数据集上达到了 91.53% 的准确率,比 STBP 算法准确率提高了 1%,并将 MNIST 数据集上的训练 epochs 减少到 15 个 epochs(与 STBP 算法相比,速度提高了 13 倍以上) )。与 CNN-SNN 转换算法相比,所提出的方法还将分类延迟降低了 25 倍以上。此外,所提出的方法对于非常深的 SNN 也能很好地工作,而 STBP 算法在 19 层 SNN 中失败。我们提出了一种误差最小化方法和一种改进的损失函数,以进一步提高训练性能。实验结果表明,所提出的方法在 CIFAR10 数据集上达到了 91.53% 的准确率,比 STBP 算法准确率提高了 1%,并将 MNIST 数据集上的训练 epochs 减少到 15 个 epochs(与 STBP 算法相比,速度提高了 13 倍以上) )。与 CNN-SNN 转换算法相比,所提出的方法还将分类延迟降低了 25 倍以上。此外,所提出的方法对于非常深的 SNN 也能很好地工作,而 STBP 算法在 19 层 SNN 中失败。我们提出了一种误差最小化方法和一种改进的损失函数,以进一步提高训练性能。实验结果表明,所提出的方法在 CIFAR10 数据集上达到了 91.53% 的准确率,比 STBP 算法准确率提高了 1%,并将 MNIST 数据集上的训练 epochs 减少到 15 个 epochs(与 STBP 算法相比,速度提高了 13 倍以上) )。与 CNN-SNN 转换算法相比,所提出的方法还将分类延迟降低了 25 倍以上。此外,所提出的方法对于非常深的 SNN 也能很好地工作,而 STBP 算法在 19 层 SNN 中失败。CIFAR10 数据集的准确度为 53%,比 STBP 算法的准确度提高 1%,并将 MNIST 数据集的训练时期减少到 15 个时期(与 STBP 算法相比,速度提高了 13 倍以上)。与 CNN-SNN 转换算法相比,所提出的方法还将分类延迟降低了 25 倍以上。此外,所提出的方法对于非常深的 SNN 也能很好地工作,而 STBP 算法在 19 层 SNN 中失败。CIFAR10 数据集的准确度为 53%,比 STBP 算法的准确度提高 1%,并将 MNIST 数据集的训练时期减少到 15 个时期(与 STBP 算法相比,速度提高了 13 倍以上)。与 CNN-SNN 转换算法相比,所提出的方法还将分类延迟降低了 25 倍以上。此外,所提出的方法对于非常深的 SNN 也能很好地工作,而 STBP 算法在 19 层 SNN 中失败。
更新日期:2020-12-01
down
wechat
bug