随着科学技术的进步,越来越多的观测高维数据出现很多实际应用问题中,如自然语言处理、图像检索、人脸识别等。尽管高维数据可以提供丰富的信息,但是也会带来数据传输、存储以及处理等困难。直接处理高维数据会消耗大量的存储和计算资源,使得数据处理的效率变得低下,同时高维数据中还存在很多冗余和噪声信息,这会严重影响数据的检索、分类识别等任务性能。特别是在小样本的情况,很多复杂的方法容易产生“过拟合”的现象,从而导致方法的失效。维数简约,有时也称为降维,是一种重要的处理高维数据的方法,其目的是通过一定的方式将数据由高维空间变换到低维空间中而不损失重要的信息。特征提取是一类重要的维数简约方法,利用特征提取不仅可以获得数据的低维表示,极大地提高数据处理的效率,同时还能剔除高维数据中的冗余和噪声信息,从而提高数据的分类识别、可视化等任务的性能。从图嵌入的观点来看,大多数特征提取方法的不同之处在于它们构造的加权图和嵌入方式的不一样。例如经典的PCA和LDA就是利用数据的全局信息来构造数据间的关系图。尽管现有的一些特征提取方法已经取得了不错的性能,但是它们仍然存在判别能力不足,图构造不稳健等问题。本论文重点关注高维数据的特征提取方法,以高维小样本数据为研究对象,以图嵌入判别分析方法为基础,研究了基于图嵌入框架下的特征提取方法。针对现有的特征提取方法的性能局限性提出几种有效的特征提取方法,包括监督的线性和非线性特征提取方法以及无监督线性特征提取方法。具体的研究工作包括以下几个方面:1、协同表示投影利用协同表示系数来描述样本间的关系,其忽略样本的类别信息,且当训练样本较少时其存在较大的重构误差,从而导致了该方法的判别能力不足。针对该问题,同时考虑样本空间和特征值空间的信息,提出了一种最小特征值矢量协同的判别投影（MECRDP）方法。该方法利用原始样本数据和最小特征矢量对样本进行重构,在样本数目较少时可以有效减小重构误差,同时在投影空间保持更多的协同表示关系。另一方面,借鉴判别分析的思想,样本的类别信息和重构样本类间散度矩阵被引入判别分析方法中,提高了样本在投影空间的判别性。实验结果验证了所提的方法具有优异的性能。2、由于稀疏表示或者协同表示的表示系数容易受到样本的增加或者移除的影响,这使得其定义的局部结构关系不够稳健。针对这一问题,提出了一种相似性有序保持判别（SOPDA）方法。该方法利用样本的相似性关系来定义样本间的稳定全局结构关系,并构造了一个类内相似性有序矩阵来获得更稳健的样本局部关系,然后在投影空间中保持这种全局和局部关系。此外,一个尺度参数被引入类内散度来平衡样本的类内分布和类间分布。实验结果表明提出的方法可以取得比其他方法更好且对投影维数更稳健的性能,比如在FERET数据集上该方法比其他的方分类准确率提升了大约3%～5%。3、基于核的协同表示投影是协同表示投影的拓展方法,其在处理非线性特征提取问题时判别能力较差,针对该问题,利用核技巧和协同表示投影方法,提出了一种核的类内协同保持判别投影（KWCCPDP）方法。该方法首先将样本映射到一个核空间,然后获得样本的协同重构关系,并在低维投影空间中保持同类样本的这种关系。进一步,利用判别分析的思想,通过最小化样本在投影空间的类内间距和最大化类间间距来获得最优的低维投影矩阵,从而提高投影特征的判别性。为了求解KWCCPDP的最优投影矩阵,提出了一种两步特征值分解方法,理论分析表明当训练样本个数大于样本类别数目的两倍时该方法可以获得稳定的解。仿真实验验证了所提方法的有效性。4、由于现有无监督特征提取方法没有充分的利用样本的全局和局部结构信息,这会降低样本在低维空间中的判别性。针对这一问题,提出了一种全局近邻保持聚类特征提取（GNPCFE）方法。为了提高样本在投影空间中的判别性,首先利用互为k近邻的样本来定义其的局部结构,并借鉴监督的判别分析思想,使那些互为k近邻的样本间在低维空间中有较小的间距,而不为k近邻的样本间有较大的间距。其次同时考虑样本的全局和局部结构信息,并利用无监督聚类的思想使得样本在低维空间中自动保持良好的聚类特性。最后为了求解GNPCFE的最优投影矩阵,提出了两种有效的交替迭代的优化方法,包括正交性松弛的GNPCFEr算法和基于k均值聚类的GNPCFEk算法,并从理论上证明了这两种算法的收敛性。实验结果表明GNPCFE能够取得比现有的无监督特征选择或特征提取方法取得更好的性能,例如在UMIST,ORL和COIL20数据集上,本章提出的方法相对与其他的无监督特征提取方法分类准确率分别提升了约9.1%,5.1%和10%。