受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)在机器学习领域应用广泛,是一种常用的的概率生成模型。由于其在特征提取方面的卓越性能被广泛应用于各种领域,其中,隐藏层神经单元的稀疏化技术是对RBM性能的重要改进。现有稀疏化方法中对于激活神经单元的阈值设定通常基于人为设定,使用全局的或固定的备用参数,并且与输入数据相互独立。然而输入数据通常具有不同的特征和概率密度分布,输入数据之间的差异也包含了大量的有用信息,将这些差异用于稀疏过程是本文的主要研究工作。本文在已有RBM模型稀疏化方法基础上提出了新的稀疏化方法,基于不同数据的特征分布的复杂程度不同,以此条件作为的RBM模型进行自适应稀疏化工作的条件,称为熵值基数限制玻尔兹曼机(EC-RBM)。通过确定EC-RBM模型的稀疏化条件,进而能够以此确定神经元的激活阈值,以激活阈值为限制条件保证神经元被激活的数量不会超过一定的数量,从而实现RBM网络模型的稀疏化表示。本文的主要工作有两方面内容:一方面是使用数据的信息熵作为条件实现了本文模型EC-RBM稀疏化工作的动态变化。在该模型中,使用基于数据信息熵的方法来计算不同类别输入数据的数据类熵,然后使用数据类信息熵来计算不同类输入数据所对应的激活阈值,从而动态地确定激活的隐藏神经单元的数量。这种稀疏化方法能够主动适应不同特征分布的输入数据。首先,分析并确定了不同类数据的分布特征确实存在差异,并且能够通过数据的信息熵来表示这种差异,这为我们之后的工作提供了基础。其次,寻找方法进行未知训练数据的概率估计,本文为了使结果误差更小,选取了Parzen窗非参数估计方法进行计算,然后通过计算得到的概率分布计算得到每一类数据的信息熵作为确定神经单元激活阈值的依据。与此同时,在实验过程中我们发现了在使用输入数据进行多种相关计算时,由于使用高维数据计算不同数据间的空间距离时通常会比低维数据计算时产生的误差更大,并且高维数据的数据量过大导致计算十分复杂费时以及产生很多冗余数据使算法效率不高。对此,我们改进了数据信息熵的计算方法,通过使用隐藏层数据而不是输入数据来进行多种相关计算,从而克服高纬度数据的“维数灾难”问题。另一方面,在具体RBM模型的稀疏化工作实现过程当中,我们引入自组织网络映射的优点,通过神经元之间的竞争机制更好地实现数据特征的稀疏化表示。这种工作模式能够促进我们的模型中的稀疏化工作,引入竞争机制可以使得稀疏化工作过程能够更好地提取特征从而提升实验结果的准确性。所以,我们在激活隐藏层神经单元的过程中,提出了不同的神经单元竞争方法。最后,在两个通用数据集上的实验证明了所提出的方法在分类准确性上具有优势。