Neuromorphic engineers develop event-based spiking neural networks (SNNs) in hardware. These SNNs closer resemble the dynamics of biological neurons than conventional artificial neural networks and achieve higher efficiency thanks to the event-based, asynchronous nature of the processing. Learning in the hardware SNNs is a more challenging task, however. The conventional supervised learning methods cannot be directly applied to SNNs due to the non-differentiable event-based nature of their activation. For this reason, learning in SNNs is currently an active research topic. Reinforcement learning (RL) is a particularly promising learning method for neuromorphic implementation, especially in the field of autonomous agents’ control. An SNN realization of a bio-inspired RL model is in the focus of this work. In particular, in this article, we propose a new digital multiplier-less hardware implementation of an SNN with RL capability. We show how the proposed network can learn stimulus-response associations in a context-dependent task. The task is inspired by biological experiments that study RL in animals. The architecture is described using the standard digital design flow and uses power- and space-efficient cores. The proposed hardware SNN model is compared both to data from animal experiments and to a computational model. We perform a comparison to the behavioral experiments using a robot, to show the learning capability in hardware in a closed sensory-motor loop.

中文翻译：

---

上下文相关任务中强化学习的无数字乘法器尖峰神经网络架构

神经形态工程师在硬件中开发基于事件的尖峰神经网络 (SNN)。这些 SNN 比传统的人工神经网络更类似于生物神经元的动力学，并且由于处理的基于事件的异步性质而实现更高的效率。然而，在硬件 SNN 中学习是一项更具挑战性的任务。传统的监督学习方法不能直接应用于 SNN，因为它们的激活是不可微的基于事件的性质。因此，在 SNN 中学习是目前一个活跃的研究课题。强化学习（RL）是一种特别有前途的神经形态实现学习方法，尤其是在自主代理控制领域。受生物启发的 RL 模型的 SNN 实现是这项工作的重点。特别是在这篇文章中，我们提出了具有 RL 功能的 SNN 的新数字无乘法器硬件实现。我们展示了所提出的网络如何在依赖于上下文的任务中学习刺激-反应关联。该任务的灵感来自研究动物强化学习的生物实验。该架构使用标准数字设计流程进行描述，并使用节能和节省空间的内核。将提议的硬件 SNN 模型与来自动物实验的数据和计算模型进行比较。我们对使用机器人的行为实验进行了比较，以显示封闭的感觉运动回路中硬件的学习能力。该任务的灵感来自研究动物强化学习的生物实验。该架构使用标准数字设计流程进行描述，并使用节能和节省空间的内核。将提议的硬件 SNN 模型与来自动物实验的数据和计算模型进行比较。我们对使用机器人的行为实验进行了比较，以显示封闭的感觉运动回路中硬件的学习能力。该任务的灵感来自研究动物强化学习的生物实验。该架构使用标准数字设计流程进行描述，并使用节能和节省空间的内核。将提议的硬件 SNN 模型与来自动物实验的数据和计算模型进行比较。我们对使用机器人的行为实验进行了比较，以显示封闭的感觉运动回路中硬件的学习能力。