我们现在正处于大数据时代,大量的高维数据在各种领域中无处不在。当机器学习算法应用于高维数据时,一个关键问题被称为维度灾难。特征选择被认为是解决维度灾难问题的最有效的手段。在许多特征选择算法中,基于局部学习的算法由于在分析高维数据时的低计算复杂度和高准确率受到了广泛的关注。尽管基于局部学习的特征选择算法在实际应用中已取得不错的降维效果,它们仍有一些问题难以解决:（1）有监督的特征选择算法无法同时满足“选择正确的样本最近邻”和“定义与分类器直接相关的损失函数”;（2）无监督的特征选择算法无法同时满足“准确保持高维数据局部流形”和“达到理想的簇分离效果”。针对现有基于局部学习的特征选择方法存在的以上2点问题,本文在研究大间隔理论和谱图理论的基础上,设计并实现了2种高效的特征选择模型。第一,针对现有基于大间隔最近邻的有监督特征选择算法无法同时满足”选择正确的样本最近邻”和”定义与分类器直接相关的损失函数”的问题,本文设计了一种新的基于局部最近邻的有监督特征权重模型。该模型基于局部最小化类内距离和最大化类间距离的技巧。经典的k NN规则被嵌入到模型中,以便于优化每个样本和它邻域内的所有样本的间隔。进一步地,定义一个特征权重向量,然后通过最小化一个带有正则化项的损失函数来构建它。损失函数利用概率模型和₁正则化来选择正确的最近邻和消除无关特征。在多种类型的数据集上的实验充分验证了算法的有效性。第二,针对现有基于谱图理论的无监督特征选择算法无法同时满足”准确保持高维数据局部流形”和”达到理想的簇分离效果”的问题,本文设计了一种新的基于联合聚类的无监督特征选择模型。在该模型中,谱聚类和正交基聚类被集成到一个鲁棒的联合聚类框架中。具体地,在谱聚类中一种自适应的计算概率邻居的方法被用于保留可靠的局部信息,在正交基聚类中引入正交基矩阵来实现优秀的簇分离效果。为了选择具有区分力的特征,_2,1正则化项与该框架同时运行。实验表明,新提出的特征选择方法在不同的度量指标下均取得了很好的选择性能。