ABSTRACT

High-dimensional features often cause computational complexity and dimensionality curse. Feature selection and feature extraction are the two mainstream methods for dimensionality reduction. Feature selection but not feature extraction can preserve the critical information and maintain the physical meaning simultaneously. Herein, we proposed a dimensionality reduction method based on rough set theory (DRM-RST) for feature selection. We defined the hyperspectral image as a decision system, extracted the features as decision attributes, and selected the effective features based on information entropy. We used the Washington D.C. Mall dataset and New York dataset to evaluate the performance of DRM-RST on dimensionality reduction. Compared with full band classification, 184 or 185 redundant bands were removed in DRM-RST, respectively. DRM-RST achieved similar accuracy (overall accuracy >94%) by SVM classifier and reduced computing time by about 85%. We further compared the dimensionality reduction efficiency of DRM-RST against other popular methods, including ReliefF, Sequential Backward Elimination (SBE) and Information Gain (IG). The Producer’s accuracy (PA) and User’s accuracy (UA) of DRM-RST was greater than that of ReliefF and IG. DRM-RST showed greater stability of accuracy than SBE in dimensionality reduction when using for different datasets. Collectively, this study provides a new method for dimensionality reduction that can reduce computational complexity and alleviate dimensionality curse.

摘要

高维特征通常会导致计算复杂性和维数诅咒。特征选择和特征提取是降维的两种主流方法。特征选择而不是特征提取可以保留关键信息并同时保持物理意义。在此，我们提出了一种基于粗糙集理论（DRM-RST）的降维方法进行特征选择。我们将高光谱图像定义为决策系统，提取特征作为决策属性，并基于信息熵选择有效特征。我们使用了华盛顿特区购物中心数据集和纽约数据集来评估DRM-RST在降维方面的性能。与全频段分类相比，DRM-RST中分别删除了184或185个冗余频段。通过SVM分类器，DRM-RST达到了相似的精度（总体精度> 94％），并且将计算时间减少了约85％。我们进一步将DRM-RST的降维效率与其他常用方法进行了比较，这些方法包括ReliefF，顺序后向消除（SBE）和信息增益（IG）。DRM-RST的生产者准确性（PA）和用户准确性（UA）大于ReliefF和IG的准确性。当用于不同的数据集时，DRM-RST在降维方面显示出比SBE更高的精度稳定性。总体而言，本研究提供了一种新的降维方法，可以降低计算复杂度并减轻维数诅咒。我们进一步将DRM-RST的降维效率与其他常用方法进行了比较，包括ReliefF，顺序后向淘汰（SBE）和信息增益（IG）。DRM-RST的生产者准确性（PA）和用户准确性（UA）大于ReliefF和IG的准确性。当用于不同的数据集时，DRM-RST在降维方面显示出比SBE更高的精度稳定性。总体而言，本研究提供了一种新的降维方法，可以降低计算复杂度并减轻维数诅咒。我们进一步将DRM-RST的降维效率与其他常用方法进行了比较，包括ReliefF，顺序后向淘汰（SBE）和信息增益（IG）。DRM-RST的生产者准确性（PA）和用户准确性（UA）大于ReliefF和IG的准确性。当用于不同的数据集时，DRM-RST在降维方面显示出比SBE更高的精度稳定性。总体而言，本研究提供了一种新的降维方法，可以降低计算复杂度并减轻维数诅咒。当用于不同的数据集时，DRM-RST在降维方面显示出比SBE更高的精度稳定性。总体而言，本研究提供了一种新的降维方法，可以降低计算复杂度并减轻维数诅咒。当用于不同的数据集时，DRM-RST在降维方面显示出比SBE更高的精度稳定性。总体而言，本研究提供了一种新的降维方法，可以降低计算复杂度并减轻维数诅咒。