信息传播技术的发展,使得图片、文本和视频数据等高维数字信息在网络中呈现指数式增长,让数据分析及预测的发展受到了极大地限制。如何有效地解决高维海量数据带来的种种问题,成为数据挖掘和机器视觉领域的研究热点之一。另外,多样化数据的快速增长让数据标签的获取成本愈加不受控制。因此,基于半监督数据的特征选择方法成为数据降维领域的重要研究内容。特别地,基于最小二乘回归的稀疏特征选择方法通过设计高效的模型,学习并选择最具鉴别性的特征子集。但现有的基于最小二乘回归的稀疏特征选择方法未能很好地利用半监督数据的信息,也常常不能全方位考量特征与特征、特征与标签、标签与标签之间的关系,甚至大多数方法未曾考虑到特征的冗余性。针对以上问题,本文设计了三个算法,从不同角度改进了基于最小二乘回归的稀疏特征选择模型,并获得了较好的效果。本文的主要工作如下:1.提出了一种新的基于局部自适应和冗余最小化的半监督特征选择（SFS-LARLRM）算法。该算法为减少离群点和噪声的影响,在半监督稀疏特征选择框架中引入局部回归学习和自适应学习。为去除冗余特征,采用惩罚高相关性特征的冗余正则化方法。另外,使用互信息和Pearson相关系数来计算特征相似度映射矩阵。设计了一种迭代方法求解目标函数,然后从理论分析和实验验证两方面证明了SFS-LARLRM算法的收敛性。2.提出了一种考虑特征流形的低维空间Hessian半监督稀疏特征选择（HSLF）算法。该方法将低维Hessian正则化引入到半监督稀疏特征特征选择框架中,更好地保留了低维空间局部流形结构;从特征角度构建相似图,采用特征流形正则化方法使得特征选择矩阵平滑于特征流形结构;将L2,1/2-norm稀疏模型引入特征选择矩阵以使其更加稀疏。给出了迭代方法求解所提出目标函数的方法。3.提出了一种新的基于最大相关最小冗余的半监督Hessian多标签特征选择（S2MFSHMRMR）方法。在该方法中,Hessian正则化和HSIC（Hilbert-Schmidt independence criterion,希尔伯特-施密特独立性准则）分别用于反映数据固有局部几何特性及解决特征与多个标签的相关性问题;提出了自定义冗余正则化方法,使用基于GMM的巴氏距离度量特征间冗余性;巴氏距离采用的软标签则运用多标签传播方法获得;提出了一个基于矩阵拉格朗日乘子法的封闭式方法以解决最小化目标函数。以上算法均采用公用数据集评测其性能,并分析参数敏感性,收敛性等。实验结果表明本文提出的算法在有限的标签的情况下,能够获取有效的特征子集以提高分类算法的性能。