This paper proposes a novel 3D action recognition technique that uses time-series information extracted from depth image sequences for use in systems of human daily activity monitoring. To this end, each action is represented as a multi-dimensional time series, where each dimension represents the position variation of one skeleton joint over time. The time series is then mapped onto a vector space using Dynamic Time Warping (DTW) distance. Furthermore, to employ the correlation-distinctiveness relationship of the sequences in recognition, this vector space is remapped onto a discriminative space using the regularized Fisher method, where final decisions about the actions are made. Unlike other available methods, the time-warping used in the mapping strategy makes the feature space robust to temporal variations of the motion sequences. Moreover, our method eliminates the need for a complicated design method for extracting the static and dynamic information of a motion sequence. Furthermore, most existing methods treat all skeletal joints identically for different actions, while some joints are more discriminative to distinguish a specific action. Thanks to the nature of the proposed features, we propose to use a separate set of discriminative joints, called joint importance map for each class of action. Evaluation results on four well-known datasets, TST, UTKinect, UCFKinect, and NTU RGB+D show competitive performance with the state-of-the-art methods in human action recognition.

中文翻译：

---

基于动态时间扭曲的功能，具有基于类的联合重要性映射，可使用Kinect深度传感器进行动作识别

本文提出了一种新颖的3D动作识别技术，该技术将从深度图像序列中提取的时间序列信息用于人类日常活动监控系统。为此，每个动作都表示为多维时间序列，其中每个维度表示一个骨架关节随时间的位置变化。然后使用动态时间规整（DTW）距离将时间序列映射到向量空间。此外，为了在识别中采用序列的相关性-区别性关系，可使用正则化的Fisher方法将该向量空间重新映射到判别空间，并在此做出有关动作的最终决定。与其他可用方法不同，映射策略中使用的时间扭曲使特征空间对于运动序列的时间变化具有鲁棒性。而且，我们的方法无需使用复杂的设计方法来提取运动序列的静态和动态信息。此外，大多数现有方法对所有骨骼关节都以相同的方式处理不同的动作，而某些关节则更具区分性以区分特定动作。由于建议的功能的性质，我们建议对每类动作使用单独的一组区分性关节，称为关节重要性图。对四个著名的数据集（TST，UTKinect，UCFKinect和NTU RGB + D）的评估结果显示，在人类动作识别中，采用最新技术的方法具有竞争优势。大多数现有方法对所有骨骼关节都以相同的方式处理不同的动作，而某些关节则更具区分性以区分特定动作。由于建议的功能的性质，我们建议对每类动作使用单独的一组区分性关节，称为关节重要性图。对四个著名的数据集（TST，UTKinect，UCFKinect和NTU RGB + D）的评估结果显示，在人类动作识别中，采用最新技术的方法具有竞争优势。大多数现有方法对所有骨骼关节都以相同的方式处理不同的动作，而某些关节则更具区分性以区分特定动作。由于建议的功能的性质，我们建议对每类动作使用单独的一组区分性关节，称为关节重要性图。对四个著名的数据集（TST，UTKinect，UCFKinect和NTU RGB + D）的评估结果显示，在人类动作识别中，采用最新技术的方法具有竞争优势。