Dynamic gesture recognition has become a new type of interaction to meet the needs of daily interaction. It is the most natural, easy to operate, and intuitive, so it has a wide range of applications. The accuracy of gesture recognition depends on the ability to accurately learn the short-term and long-term spatiotemporal features of gestures. Our work is different from improving the performance of a single type of network with convnets-based models and recurrent neural network-based models or serial stacking of two heterogeneous networks, we proposed a fusion architecture that can simultaneously learn short-term and long-term spatiotemporal features of gestures, which combined convnets-based models and recurrent neural network-based models in parallel. At each stage of feature learning, the short-term and long-term spatiotemporal features of gestures are captured simultaneously, and the contribution of two heterogeneous networks to the classification results in spatial and channel axes that can be learned automatically by using the attention mechanism. The sequence and pooling operation of the channel attention module and spatial attention module are compared through experiments. And the proportion of short-term and long-term features of gestures on channel and spatial axes in each stage of feature learning is quantitatively analyzed, and the final model is determined according to the experimental results. The module can be used for end-to-end learning and the proposed method was validated on the EgoGesture, SKIG, and IsoGD datasets and got very competitive performance.

动态手势识别已成为满足日常交互需求的新型交互方式。它最自然，操作简单，直观，因此应用范围很广。手势识别的准确性取决于准确学习手势短期和长期时空特征的能力。我们的工作不同于使用基于 convnets 的模型和基于递归神经网络的模型或两个异构网络的串行堆叠来提高单一类型网络的性能，我们提出了一种可以同时学习短期和长期的融合架构手势的时空特征，它并行结合了基于卷积网络的模型和基于递归神经网络的模型。在特征学习的每个阶段，同时捕获手势的短期和长期时空特征，两个异构网络对分类的贡献导致空间和通道轴可以通过注意力机制自动学习。通过实验比较了通道注意模块和空间注意模块的序列和池化操作。并定量分析每个阶段特征学习中手势在通道和空间轴上的短期和长期特征的比例，并根据实验结果确定最终模型。该模块可用于端到端学习，并且所提出的方法在 EgoGesture、SKIG 和 IsoGD 数据集上得到了验证，并获得了非常有竞争力的性能。以及两个异构网络对分类的贡献导致空间轴和通道轴可以通过使用注意力机制自动学习。通过实验比较了通道注意模块和空间注意模块的序列和池化操作。并定量分析每个阶段特征学习中手势在通道和空间轴上的短期和长期特征的比例，并根据实验结果确定最终模型。该模块可用于端到端学习，并且所提出的方法在 EgoGesture、SKIG 和 IsoGD 数据集上得到了验证，并获得了非常有竞争力的性能。以及两个异构网络对分类的贡献导致空间轴和通道轴可以通过使用注意力机制自动学习。通过实验比较了通道注意模块和空间注意模块的序列和池化操作。并定量分析每个阶段特征学习中手势在通道和空间轴上的短期和长期特征的比例，并根据实验结果确定最终模型。该模块可用于端到端学习，并且所提出的方法在 EgoGesture、SKIG 和 IsoGD 数据集上得到了验证，并获得了非常有竞争力的性能。通过实验比较了通道注意模块和空间注意模块的序列和池化操作。并定量分析每个阶段特征学习中手势在通道和空间轴上的短期和长期特征的比例，并根据实验结果确定最终模型。该模块可用于端到端学习，并且所提出的方法在 EgoGesture、SKIG 和 IsoGD 数据集上得到了验证，并获得了非常有竞争力的性能。通过实验比较了通道注意模块和空间注意模块的序列和池化操作。并定量分析每个阶段特征学习中手势在通道和空间轴上的短期和长期特征的比例，并根据实验结果确定最终模型。该模块可用于端到端学习，并且所提出的方法在 EgoGesture、SKIG 和 IsoGD 数据集上得到了验证，并获得了非常有竞争力的性能。根据实验结果确定最终模型。该模块可用于端到端学习，并且所提出的方法在 EgoGesture、SKIG 和 IsoGD 数据集上得到了验证，并获得了非常有竞争力的性能。根据实验结果确定最终模型。该模块可用于端到端学习，并且所提出的方法在 EgoGesture、SKIG 和 IsoGD 数据集上得到了验证，并获得了非常有竞争力的性能。