We recently proposed the S4NN algorithm, essentially an adaptation of backpropagation to multilayer spiking neural networks that use simple non-leaky integrate-and-fire neurons and a form of temporal coding known as time-to-first-spike coding. With this coding scheme, neurons fire at most once per stimulus, but the firing order carries information. Here, we introduce BS4NN, a modification of S4NN in which the synaptic weights are constrained to be binary (+1 or -1), in order to decrease memory and computation footprints. This was done using two sets of weights: firstly, real-valued weights, updated by gradient descent, and used in the backward pass of backpropagation, and secondly, their signs, used in the forward pass. Similar strategies have been used to train (non-spiking) binarized neural networks. The main difference is that BS4NN operates in the time domain: spikes are propagated sequentially, and different neurons may reach their threshold at different times, which increases computational power. We validated BS4NN on two popular benchmarks, MNIST and Fashion MNIST, and obtained state-of-the-art accuracies for this sort of networks (97.0% and 87.3% respectively) with a negligible accuracy drop with respect to real-valued weights (0.4% and 0.7%, respectively). We also demonstrated that BS4NN outperforms a simple BNN with the same architectures on those two datasets (by 0.2% and 0.9% respectively), presumably because it leverages the temporal dimension.

中文翻译：

---

BS4NN：具有时间编码和学习的二值化尖峰神经网络

我们最近提出了 S4NN 算法，本质上是对多层尖峰神经网络的反向传播的适应，该神经网络使用简单的非泄漏积分和激发神经元和一种称为首次尖峰时间编码的时间编码形式。使用这种编码方案，每个刺激神经元最多触发一次，但触发顺序携带信息。在这里，我们介绍了 BS4NN，这是 S4NN 的一种修改，其中突触权重被限制为二进制（+1 或 -1），以减少内存和计算足迹。这是使用两组权重完成的：首先，实值权重，由梯度下降更新，用于反向传播的反向传播，其次，它们的符号，用于正向传播。类似的策略已被用于训练（非尖峰）二值化神经网络。主要区别在于 BS4NN 在时域中运行：尖峰是顺序传播的，不同的神经元可能在不同的时间达到它们的阈值，这增加了计算能力。我们在两个流行的基准测试（MNIST 和 Fashion MNIST）上验证了 BS4NN，并获得了此类网络的最先进准确率（分别为 97.0% 和 87.3%），相对于实值权重（0.4 % 和 0.7%）。我们还证明了 BS4NN 在这两个数据集上优于具有相同架构的简单 BNN（分别高 0.2% 和 0.9%），大概是因为它利用了时间维度。我们在两个流行的基准测试（MNIST 和 Fashion MNIST）上验证了 BS4NN，并获得了此类网络的最先进准确率（分别为 97.0% 和 87.3%），相对于实值权重（0.4 % 和 0.7%）。我们还证明了 BS4NN 在这两个数据集上优于具有相同架构的简单 BNN（分别高出 0.2% 和 0.9%），大概是因为它利用了时间维度。我们在两个流行的基准测试（MNIST 和 Fashion MNIST）上验证了 BS4NN，并获得了此类网络的最先进准确率（分别为 97.0% 和 87.3%），相对于实值权重（0.4 % 和 0.7%）。我们还证明了 BS4NN 在这两个数据集上优于具有相同架构的简单 BNN（分别高出 0.2% 和 0.9%），大概是因为它利用了时间维度。