Because of high dimensionality, correlation among covariates, and noise contained in data, dimension reduction (DR) techniques are often employed to the application of machine learning algorithms. Principal Component Analysis (PCA), Linear Discriminant Analysis (LDA), and their kernel variants (KPCA, KLDA) are among the most popular DR methods. Recently, Supervised Kernel Principal Component Analysis (SKPCA) has been shown as another successful alternative. In this paper, brief reviews of these popular techniques are presented first. We then conduct a comparative performance study based on three simulated datasets, after which the performance of the techniques are evaluated through application to a pattern recognition problem in face image analysis. The gender classification problem is considered on MORPH-II and FG-NET, two popular longitudinal face aging databases. Several feature extraction methods are used, including biologically-inspired features (BIF), local binary patterns (LBP), histogram of oriented gradients (HOG), and the Active Appearance Model (AAM). After applications of DR methods, a linear support vector machine (SVM) is deployed with gender classification accuracy rates exceeding 95% on MORPH-II, competitive with benchmark results. A parallel computational approach is also proposed, attaining faster processing speeds and similar recognition rates on MORPH-II. Our computational approach can be applied to practical gender classification systems and generalized to other face analysis tasks, such as race classification and age prediction.

中文翻译：

---

带有核变量的非线性降维方法的比较研究：可视化，优化和分类

由于维数高，协变量之间的相关性以及数据中包含的噪声，因此降维（DR）技术通常用于机器学习算法的应用。主成分分析（PCA），线性判别分析（LDA）及其内核变体（KPCA，KLDA）是最受欢迎的DR方法。最近，有监督的内核主成分分析（SKPCA）被证明是另一个成功的替代方法。在本文中，首先简要介绍了这些流行技术。然后，我们基于三个模拟数据集进行比较性能研究，然后通过将其应用于面部图像分析中的模式识别问题来评估技术的性能。在MORPH-II和FG-NET上考虑了性别分类问题，两个流行的纵向面部老化数据库。使用了几种特征提取方法，包括生物启发特征（BIF），局部二进制模式（LBP），定向梯度直方图（HOG）和主动外观模型（AAM）。应用DR方法后，在MORPH-II上部署了线性支持向量机（SVM），其性别分类准确率超过95％，与基准结果相抗衡。还提出了一种并行计算方法，可以在MORPH-II上获得更快的处理速度和相似的识别率。我们的计算方法可以应用于实际的性别分类系统，并且可以推广到其他人脸分析任务，例如种族分类和年龄预测。本地二进制模式（LBP），定向梯度直方图（HOG）和活动外观模型（AAM）。应用DR方法后，在MORPH-II上部署了线性支持向量机（SVM），其性别分类准确率超过95％，与基准结果相抗衡。还提出了一种并行计算方法，可以在MORPH-II上获得更快的处理速度和相似的识别率。我们的计算方法可以应用于实际的性别分类系统，并且可以推广到其他人脸分析任务，例如种族分类和年龄预测。本地二进制模式（LBP），定向梯度直方图（HOG）和活动外观模型（AAM）。应用DR方法后，在MORPH-II上部署了线性支持向量机（SVM），其性别分类准确率超过95％，与基准结果相抗衡。还提出了一种并行计算方法，可以在MORPH-II上获得更快的处理速度和相似的识别率。我们的计算方法可以应用于实际的性别分类系统，并且可以推广到其他人脸分析任务，例如种族分类和年龄预测。在MORPH-II上部署的线性支持向量机（SVM）的性别分类准确率超过95％，与基准结果相抗衡。还提出了一种并行计算方法，可以在MORPH-II上获得更快的处理速度和相似的识别率。我们的计算方法可以应用于实际的性别分类系统，并且可以推广到其他人脸分析任务，例如种族分类和年龄预测。在MORPH-II上部署的线性支持向量机（SVM）的性别分类准确率超过95％，与基准结果相抗衡。还提出了一种并行计算方法，可以在MORPH-II上获得更快的处理速度和相似的识别率。我们的计算方法可以应用于实际的性别分类系统，并且可以推广到其他人脸分析任务，例如种族分类和年龄预测。