Non-intrusive visual-based applications supporting the communication of people employing sign language for communication are always an open and attractive research field for the human action recognition community. Automatic sign language interpretation is a complex visual recognition task where motion across time distinguishes the sign being performed. In recent years, the development of robust and successful deep-learning techniques has been accompanied by the creation of a large number of databases. The availability of challenging datasets of Sign Language (SL) terms and phrases helps to push the research to develop new algorithms and methods to tackle their automatic recognition. This paper presents ‘SL-Animals-DVS’, an event-based action dataset captured by a Dynamic Vision Sensor (DVS). The DVS records non-fluent signers performing a small set of isolated words derived from SL signs of various animals as a continuous spike flow at very low latency. This is especially suited for SL signs which are usually made at very high speeds. We benchmark the recognition performance on this data using three state-of-the-art Spiking Neural Networks (SNN) recognition systems. SNNs are naturally compatible to make use of the temporal information that is provided by the DVS where the information is encoded in the spike times. The dataset has about 1100 samples of 59 subjects performing 19 sign language signs in isolation at different scenarios, providing a challenging evaluation platform for this emerging technology.

支持使用手语进行交流的人的交流的非侵入式基于视觉的应用程序对于人类行为识别社区来说始终是一个开放且有吸引力的研究领域。自动手语解释是一项复杂的视觉识别任务，其中跨时间的运动可以区分正在执行的手语。近年来，强大且成功的深度学习技术的发展伴随着大量数据库的创建。具有挑战性的手语 (SL) 术语和短语数据集的可用性有助于推动研究开发新的算法和方法来解决其自动识别问题。本文介绍了“SL-Animals-DVS”，这是一个由动态视觉传感器 (DVS) 捕获的基于事件的动作数据集。DVS 记录不流利的手语者执行从各种动物的 SL 手语派生的一小组孤立词作为非常低延迟的连续峰值流。这尤其适用于通常以非常高的速度制作的 SL 标志。我们使用三个最先进的尖峰神经网络 (SNN) 识别系统对这些数据的识别性能进行基准测试。SNN 自然兼容以利用 DVS 提供的时间信息，其中信息在尖峰时间内编码。该数据集包含 59 名受试者的约 1100 个样本，在不同场景下分别执行 19 个手语符号，为这项新兴技术提供了具有挑战性的评估平台。这尤其适用于通常以非常高的速度制作的 SL 标志。我们使用三个最先进的尖峰神经网络 (SNN) 识别系统对这些数据的识别性能进行基准测试。SNN 自然兼容以利用 DVS 提供的时间信息，其中信息在尖峰时间内编码。该数据集包含 59 名受试者的约 1100 个样本，在不同场景下分别执行 19 种手语符号，为这项新兴技术提供了具有挑战性的评估平台。这尤其适用于通常以非常高的速度制作的 SL 标志。我们使用三个最先进的尖峰神经网络 (SNN) 识别系统对这些数据的识别性能进行基准测试。SNN 自然兼容以利用 DVS 提供的时间信息，其中信息在尖峰时间内编码。该数据集包含 59 名受试者的约 1100 个样本，在不同场景下分别执行 19 种手语符号，为这项新兴技术提供了具有挑战性的评估平台。SNN 自然兼容以利用 DVS 提供的时间信息，其中信息在尖峰时间内编码。该数据集包含 59 名受试者的约 1100 个样本，在不同场景下分别执行 19 种手语符号，为这项新兴技术提供了具有挑战性的评估平台。SNN 自然兼容以利用 DVS 提供的时间信息，其中信息在尖峰时间内编码。该数据集包含 59 名受试者的约 1100 个样本，在不同场景下分别执行 19 种手语符号，为这项新兴技术提供了具有挑战性的评估平台。