极端学习机作为最具代表性的前馈神经网络之一，具有网络参数少，无需迭代，学习速度快等优点。但由于其单隐层的网络结构过于简单，使得极端学习机的学习能力也十分有限，于是核极端学习机与多层极端学习机应运而出，但两者均存在着对噪声敏感、容易过拟合、计算量大等缺点，针对这些问题，本文基于最大相关熵准则分别提出两种改进的极端学习机网络。在UCI数据集上对其性能进行验证，并分别对两种改进极端学习机网络的应用进行了研究。
　　首先，对核极端学习机进行改进。针对极端学习机对噪声敏感的问题，引入最大相关熵准则代替极端学习机中的最小均方差准则构造目标函数。为了解决单核极端学习机难以处理异构或不规则数据，同时缓解由于引入多核导致计算量增大的问题，提出一种按训练样本数随机生成尺度因子的核多尺度化方法，最终推导出基于最大相关熵准则的随机多尺度核极端学习机，通过UCI数据集验证其在学习效率上的优越性，并将其应用于对水泥熟料游离氧化钙含量的预测中验证其实用性。
　　其次，对基于稀疏编码的多层极端学习机进行改进。针对多层极端学习机容易发生过拟合现象的问题，受对核极端学习机改进的启发，在多层极端学习机的决策层中引入最大相关熵准则，将核理论应用于输出层权重的求解过程中降低计算量并改善网络的非线性映射能力，构建出基于最大相关熵准则的核多层极端学习机。同时，针对多层极端学习机运行时内存需求巨大的问题，提出一种批量编码的学习方法，构建出最大相关熵准则下批量编码式核多层极端学习机。通过仿真实验确定其网络参数，与基于稀疏编码的多层极端学习机对比验证其可有效降低内存需求。
　　最后，将提出的最大相关熵准则下批量编码式核多层极端学习机应用于图像分类中。对其数据预处理过程与无监督编码层的特征提取原理进行阐述，将其决策层作为分类器对无监督编码层得到的图像特征进行批次学习，并在MNIST、NORB两图像分类数据集上与HELM等多种深度网络对比验证其图像分类的性能。