在许多现实问题中,如人脸识别、文本分类、图像检索等,维数约简是一个不可缺少的步骤。而特征选择和特征提取是两种最常用的维数约简方法。特征选择是指从原始空间中挑选特征,得到由原始特征组成的特征子集,而特征提取是对特征空间进行变换,将原始特征空间映射到低维空间中。目前大部分研究都是将特征选择与特征提取独立开来,本文以特征提取的典型方法主成分分析(Principal Component Analysis,PCA)和线性判别分析(Linear Discriminant Analysis,LDA)为主,将特征提取与特征选择结合起来进行研究,利用二者各自的长处去进行维数约简,设计与提出基于主成分分析的特征选择算法和基于线性判别分析的高维特征选择算法。基于主成分分析的特征选择算法的思想是建立在这样的基础上:主成分分析方法将原始特征通过线性变换映射到新的低维特征空间时,获得的主成分失去了物理意义,难以理解,并且主成分是所有原始特征的线性组合;此外由于特征选择是直接寻找有实际意义的特征,并且能减少计算开支。因此本文将主成分分析与特征选择相结合,使用一种基于K近邻规则的新方法,同时设计多种相似性度量准则,通过找到与主成分相关的关键特征或者删除冗余、不相关以及没有意义的特征将主成分又重新映射到原始空间,来理解主成分的实际意义,并在标准数据集分类以及人脸识别上进行了对比实验。基于线性判别分析的高维特征选择将单个特征的Fisher准则与其他特征选择算法相结合,分层消除不相关特征与冗余特征。不相关特征过滤器按照每个特征的Fisher评价值进行特征排序,来去除噪音和不相关特征;通过对高维数据特征关联性的分析,冗余特征过滤器选用冗余度量方法和基于相关性的快速过滤器(Fast Correlation Based Filter)算法。作者分别在四种公共数据集和包含不同姿势、表情和背景的人脸库上进行了数据分类与性别分类实验,验证分层过滤模型处理高维数据的性能。