Recognizing and categorizing human actions is an important task with applications in various fields such as human-robot interaction, video analysis, surveillance, video retrieval, health care system and entertainment industry. This thesis presents a novel computational approach for human action recognition through different implementations of multi-layer architectures based on artificial neural networks. Each system level development is designed to solve different aspects of the action recognition problem including online real-time processing, action segmentation and the involvement of objects. The analysis of the experimental results are illustrated and described in six articles. The proposed action recognition architecture of this thesis is composed of several processing layers including a preprocessing layer, an ordered vector representation layer and three layers of neural networks. It utilizes self-organizing neural networks such as Kohonen feature maps and growing grids as the main neural network layers. Thus the architecture presents a biological plausible approach with certain features such as topographic organization of the neurons, lateral interactions, semi-supervised learning and the ability to represent high dimensional input space in lower dimensional maps. For each level of development the system is trained with the input data consisting of consecutive 3D body postures and tested with generalized input data that the system has never met before. The experimental results of different system level developments show that the system performs well with quite high accuracy for recognizing human actions.

中文翻译：

---

头脑中的行动：一种用于动作识别和细分的神经网络方法

对人的行为进行识别和分类是一项重要任务，在诸如人机交互，视频分析，监视，视频检索，医疗保健系统和娱乐行业等各个领域中都得到了应用。本文通过基于人工神经网络的多层体系结构的不同实现，提出了一种新颖的人类动作识别计算方法。每个系统级别的开发都旨在解决动作识别问题的不同方面，包括在线实时处理，动作分段和对象的介入。对实验结果的分析在六篇文章中进行了说明和描述。本文提出的动作识别架构由多个处理层组成，包括预处理层，有序向量表示层和三层神经网络。它利用自组织神经网络（例如Kohonen特征图和不断增长的网格）作为主要的神经网络层。因此，该体系结构提出了一种具有某些生物学特征的可行方法，例如神经元的地形组织，横向相互作用，半监督学习以及在低维地图中表示高维输入空间的能力。对于每个开发级别，系统都会使用包含连续3D人体姿势的输入数据进行训练，并使用系统从未遇到过的通用输入数据进行测试。不同系统级开发的实验结果表明，该系统在识别人类行为方面表现良好，并且具有很高的准确度。它利用自组织神经网络（例如Kohonen特征图和不断增长的网格）作为主要的神经网络层。因此，该体系结构提出了一种具有某些生物学特征的可行方法，例如神经元的地形组织，横向相互作用，半监督学习以及在低维地图中表示高维输入空间的能力。对于每个开发级别，系统都会使用包含连续3D人体姿势的输入数据进行训练，并使用系统从未遇到过的通用输入数据进行测试。不同系统级开发的实验结果表明，该系统在识别人类行为方面表现良好，并且具有很高的准确度。它利用自组织神经网络（例如Kohonen特征图和不断增长的网格）作为主要的神经网络层。因此，该体系结构提出了一种具有某些生物学特征的可行方法，例如神经元的地形组织，横向相互作用，半监督学习以及在低维地图中表示高维输入空间的能力。对于每个开发阶段，系统都会使用包含连续3D人体姿势的输入数据进行训练，并使用系统从未遇到过的通用输入数据进行测试。不同系统级开发的实验结果表明，该系统在识别人类行为方面表现良好，并且具有很高的准确度。因此，该体系结构提出了一种具有某些生物学特征的可行方法，例如神经元的地形组织，横向相互作用，半监督学习以及在低维地图中表示高维输入空间的能力。对于每个开发级别，系统都会使用包含连续3D人体姿势的输入数据进行训练，并使用系统从未遇到过的通用输入数据进行测试。不同系统级开发的实验结果表明，该系统在识别人类行为方面表现良好，并且具有很高的准确度。因此，该体系结构提出了一种具有某些生物学特征的可行方法，例如神经元的地形组织，横向相互作用，半监督学习以及在低维地图中表示高维输入空间的能力。对于每个开发级别，系统都会使用包含连续3D人体姿势的输入数据进行训练，并使用系统从未遇到过的通用输入数据进行测试。不同系统级开发的实验结果表明，该系统在识别人类行为方面表现良好，并且具有很高的准确度。半监督学习以及在低维地图中表示高维输入空间的能力。对于每个开发级别，系统都会使用包含连续3D人体姿势的输入数据进行训练，并使用系统从未遇到过的通用输入数据进行测试。不同系统级开发的实验结果表明，该系统在识别人类行为方面表现良好，并且具有很高的准确度。半监督学习以及在低维地图中表示高维输入空间的能力。对于每个开发级别，系统都会使用包含连续3D人体姿势的输入数据进行训练，并使用系统从未遇到过的通用输入数据进行测试。不同系统级开发的实验结果表明，该系统在识别人类行为方面表现良好，并且具有很高的准确度。