Winner-take-all (WTA) refers to the neural operation that selects a (typically small) group of neurons from a large neuron pool. It is conjectured to underlie many of the brain's fundamental computational abilities. However, not much is known about the robustness of a spike-based WTA network to the inherent randomness of the input spike trains. In this work, we consider a spike-based k–WTA model wherein n randomly generated input spike trains compete with each other based on their underlying firing rates and k winners are supposed to be selected. We slot the time evenly with each time slot of length 1 ms and model the n input spike trains as n independent Bernoulli processes. We analytically characterize the minimum waiting time needed so that a target minimax decision accuracy (success probability) can be reached. We first derive an information-theoretic lower bound on the waiting time. We show that to guarantee a (minimax) decision error ≤δ (where δ∈(0,1)), the waiting time of any WTA circuit is at least ((1-δ)log(k(n-k)+1)-1)TR,where R⊆(0,1) is a finite set of rates and TR is a difficulty parameter of a WTA task with respect to set R for independent input spike trains. Additionally, TR is independent of δ, n, and k. We then design a simple WTA circuit whose waiting time is Olog1δ+logk(n-k)TR,provided that the local memory of each output neuron is sufficiently long. It turns out that for any fixed δ, this decision time is order-optimal (i.e., it matches the above lower bound up to a multiplicative constant factor) in terms of its scaling in n, k, and TR.

中文翻译：

---

基于尖峰的赢家通吃计算：基本极限和阶数最优电路

赢家通吃 (WTA) 是指从大型神经元池中选择一组（通常很小）神经元的神经操作。据推测，它是许多大脑基本计算能力的基础。然而，关于基于尖峰的 WTA 网络对输入尖峰序列的固有随机性的鲁棒性知之甚少。在这项工作中，我们考虑了一个基于尖峰的 k-WTA 模型，其中 n 个随机生成的输入尖峰列车基于它们的潜在发射率相互竞争，并且应该选择 k 个获胜者。我们将时间平均分配给每个长度为 1 ms 的时隙，并将 n 个输入尖峰序列建模为 n 个独立的伯努利过程。我们分析表征所需的最小等待时间，以便可以达到目标最小最大决策精度（成功概率）。我们首先推导出等待时间的信息论下界。我们表明，为了保证（minimax）决策误差≤δ（其中δ∈（0,1）），任何WTA电路的等待时间至少是（（1-δ）log（k（nk）+1）- 1)TR，其中 R⊆(0,1) 是一组有限的速率，TR 是 WTA 任务相对于独立输入尖峰列车的集合 R 的难度参数。此外，TR 与 δ、n 和 k 无关。然后我们设计了一个简单的 WTA 电路，其等待时间为 Olog1δ+logk(nk)TR，前提是每个输出神经元的局部记忆足够长。事实证明，对于任何固定的 δ，就 n、k 和 TR 的缩放而言，该决策时间是阶次最优的（即，它匹配上述下界至乘法常数因子）。我们表明，为了保证（minimax）决策误差≤δ（其中δ∈（0,1）），任何WTA电路的等待时间至少是（（1-δ）log（k（nk）+1）- 1)TR，其中 R⊆(0,1) 是一组有限的速率，TR 是 WTA 任务相对于独立输入尖峰列车的集合 R 的难度参数。此外，TR 与 δ、n 和 k 无关。然后我们设计了一个简单的 WTA 电路，其等待时间为 Olog1δ+logk(nk)TR，前提是每个输出神经元的局部记忆足够长。事实证明，对于任何固定的 δ，就 n、k 和 TR 的缩放而言，该决策时间是阶次最优的（即，它匹配上述下界至乘法常数因子）。我们表明，为了保证（minimax）决策误差≤δ（其中δ∈（0,1）），任何WTA电路的等待时间至少是（（1-δ）log（k（nk）+1）- 1)TR，其中 R⊆(0,1) 是一组有限的速率，TR 是 WTA 任务相对于独立输入尖峰列车的集合 R 的难度参数。此外，TR 与 δ、n 和 k 无关。然后我们设计了一个简单的 WTA 电路，其等待时间为 Olog1δ+logk(nk)TR，前提是每个输出神经元的局部记忆足够长。事实证明，对于任何固定的 δ，就 n、k 和 TR 的缩放而言，该决策时间是阶次最优的（即，它匹配上述下界至乘法常数因子）。1) 是一组有限的速率，TR 是 WTA 任务相对于独立输入尖峰列车的集合 R 的难度参数。此外，TR 与 δ、n 和 k 无关。然后我们设计了一个简单的 WTA 电路，其等待时间为 Olog1δ+logk(nk)TR，前提是每个输出神经元的局部记忆足够长。事实证明，对于任何固定的 δ，就 n、k 和 TR 的缩放而言，该决策时间是阶次最优的（即，它匹配上述下界至乘法常数因子）。1) 是一组有限的速率，TR 是 WTA 任务相对于独立输入尖峰列车的集合 R 的难度参数。此外，TR 与 δ、n 和 k 无关。然后我们设计了一个简单的 WTA 电路，其等待时间为 Olog1δ+logk(nk)TR，前提是每个输出神经元的局部记忆足够长。事实证明，对于任何固定的 δ，就 n、k 和 TR 的缩放而言，该决策时间是阶次最优的（即，它匹配上述下界至乘法常数因子）。