Hand gesture recognition is a challenging task due to the complexity of hand movements and to the variety among the same gesture performed by distinct subjects. Recent technologies, such as Kinect sensor, provide new opportunities, allowing to capture both RGB and depth (RGB-D) images, which offer high discriminant information for efficient hand gesture recognition. In the aspect of feature extraction, the traditional methods process the RGB and depth information independently. In this paper, we propose a robust hand gesture recognition system based on a new feature extraction method, fusing RGB images and depth information simultaneously, by using the quaternion algebra that provide a more robust and holistical representation. In fact, we introduce, for the first time, a novel type of feature extraction method, named quaternion Tchebichef moment invariants. The novelty of the proposed method in this paper lies in the direct derivation of invariants from their orthogonal moments, based on the algebraic properties of the discrete Tchebichef polynomials. The proposed approach based on quaternion algebra is suggested to process the four components holistically, for a robust and efficient hand gesture recognition system. The obtained experimental and theoretical results demonstrate that the present approach is very effective for addressing the problem of hand gesture recognition and have proved its robustness against geometrical distortion, noisy conditions and complex background compared to the state of the art, indicating that it could be highly useful for many computer vision applications.

中文翻译：

---

基于一组新的四元数Tchebichef矩不变量的鲁棒手势识别系统

手势识别是一项具有挑战性的任务，这是由于手势的复杂性以及不同对象执行的同一手势之间的差异所致。Kinect传感器等最新技术提供了新的机会，可以同时捕获RGB和深度（RGB-D）图像，这些图像提供了高判别信息，可实现高效的手势识别。在特征提取方面，传统方法独立处理RGB和深度信息。在本文中，我们提出了一种基于新特征提取方法的健壮手势识别系统，该方法使用提供更健壮和整体表示的四元数代数同时融合RGB图像和深度信息。实际上，我们是第一次引入一种新型的特征提取方法，命名为四元数Tchebichef矩不变式。本文提出的方法的新颖之处在于，基于离散Tchebichef多项式的代数性质，可以直接从其正交矩推导不变量。提出了一种基于四元数代数的方法，该方法可以对四个分量进行整体处理，从而实现一种健壮而高效的手势识别系统。获得的实验和理论结果表明，该方法对于解决手势识别问题非常有效，并且与现有技术相比，已证明其对几何失真，嘈杂条件和复杂背景的鲁棒性，表明该方法可能具有很高的实用性。对于许多计算机视觉应用程序很有用。本文提出的方法的新颖之处在于，基于离散Tchebichef多项式的代数性质，可以直接从其正交矩推导不变量。提出了一种基于四元数代数的方法，该方法可以对四个分量进行整体处理，从而实现一种健壮而高效的手势识别系统。获得的实验和理论结果表明，该方法对于解决手势识别问题非常有效，并且与现有技术相比，已证明其对几何失真，嘈杂条件和复杂背景的鲁棒性，表明该方法可能具有很高的实用性。对于许多计算机视觉应用程序很有用。本文提出的方法的新颖之处在于，基于离散Tchebichef多项式的代数性质，可以直接从其正交矩推导不变量。提出了一种基于四元数代数的方法，该方法可以对四个分量进行整体处理，从而实现一种健壮而高效的手势识别系统。获得的实验和理论结果表明，该方法对于解决手势识别问题非常有效，并且与现有技术相比，已证明其对几何失真，嘈杂条件和复杂背景的鲁棒性，表明该方法可能具有很高的实用性。对于许多计算机视觉应用程序很有用。基于离散Tchebichef多项式的代数性质。提出了一种基于四元数代数的方法，该方法可以对四个分量进行整体处理，从而实现一种健壮而高效的手势识别系统。获得的实验和理论结果表明，该方法对于解决手势识别问题非常有效，并且与现有技术相比，已证明其对几何失真，嘈杂条件和复杂背景的鲁棒性，表明该方法可能具有很高的实用性。对于许多计算机视觉应用程序很有用。基于离散Tchebichef多项式的代数性质。提出了一种基于四元数代数的方法，该方法可以对四个分量进行整体处理，从而实现一种健壮而高效的手势识别系统。获得的实验和理论结果表明，该方法对于解决手势识别问题非常有效，并且与现有技术相比，已证明其对几何失真，嘈杂条件和复杂背景的鲁棒性，表明该方法可能具有很高的实用性。对于许多计算机视觉应用程序很有用。