高维数据中存在着大量的无关和冗余信息大大影响和限制了学习模型的性能,对学习模型的时间和空间复杂度提出了更高的要求。特征选择作为机器学习和模式识别的重要组成部分,能够有效的挖掘出数据中的有效信息,在降低数据规模的同时提高学习模型的泛化能力。本文主要从数据中变量间关系的度量和特征选择模型两个角度进行特征选择的研究工作。首先对不同度量在特征选择方法中产生的效果进行研究;然后重点对信息论度量进行研究,提出多种不同的有监督和半监督特征选择方法。其中,为了充分利用有标注和无标注数据,重点研究基于信息论度量的半监督特征选择方法。本文的研究工作主要分为如下几个方面:首先,针对相同特征选择模型在应用不同度量时,选取的特征的子集往往有较大的差异性,并且基于相同的度量的特征选择方法在不同数据集上的效果也存在明显的差异的问题,选取当前特征选择工作中具有代表性的多种线性和非线性度量标准,分别将选取的度量应用于基于相关性的快速特征选择方法中,并选取多种常用数据对上述差异化进行实验研究。其次,为了增强特征选择方法对数据中变量间关系的度量能力,引入可以同时对线性、非线性或非函数关系进行度量的最大信息系数度量。基于该度量标准提出了可以同时度量特征相关和冗余的新的评价函数;同时,基于最大信息系数度量提出一种新的搜索策略。基于提出的评价函数和搜索策略,提出了 mMIC_FS有监督特征选择方法。最后,在对信息熵和互信息等基本概念研究的基础上提出了归一化互相关无监督度量标准。通过融合互信息和提出的互相关度量,提出了一种半监督相关和冗余度量标准。基于提出的度量标准,分别基于相关-冗余和层次聚类思想提出两种不同的特征选择方法,同时利用标注数据和无标注数据进行特征选择。