论文部分内容阅读
随着信息技术的快速发展,基于数据的机器学习算法在工业过程建模中扮演着日益重要的角色,特别是对于那些结构复杂、机理不明的非线性时变系统。极限学习机(Extreme Leaning Machine, ELM)是最近几年才出现的一种新的机器学习算法。与传统的核学习算法相比,ELM不仅具有良好的泛化性能,还表现出训练速度快、算法简单易实现以及人为干预参数少等优势,在复杂系统建模、大规模样本学习以及实时在线预测等问题中表现出巨大潜力。目前,ELM理论和应用方面的研究正吸引着国内外越来越多的关注。本文围绕ELM算法的若干理论问题及其在高炉冶炼过程建模中的应用展开研究,得到的主要研究成果总结如下:(1)从两个新的角度——VC维和在不同训练样本规模下的算法性能——对ELM和支持向量机(SVM)做了比较研究。严格证明ELM的VC维以概率l等于其隐含层神经元个数。这为根据统计学习理论对ELM泛化性能的界进行理论估计提供了依据。而在不同训练样本规模下的比较研究表明:在较大训练样本集上,两者具有相近的泛化性能;但在小样本集上,前者的泛化性能及其稳定性要低于后者。这些结论是对当前现有研究结果的有益补充。(2)针对ELM的模型选择问题,完成了两方面的工作。一是针对回归和分类两种情形分别给出了ELM的快速留一交叉验证算法,并首先从理论上证明了其正确性,然后基于数值仿真验证了其有效性。二是提出了一种新的基于VC泛化界的ELM模型复杂性控制方法,仿真实验表明,在小样本情形下,该方法的性能明显优于其它4种经典统计模型选择方法。(3)基于Johnson-Lindenstrauss定理和仿真实验,首先指出了造成ELM算法训练和测试性能算法不稳定以及小样本情形下建模性能差的两个原因:随机投影的距离保持性能和随机特征向量各分量的分布稳定性;然后,通过输入层权重正交化,适当控制隐含层结点个数,并结合结构风险最小化原则,提出一种距离保持ELM算法(Distance Preserving ELM, DP-ELM),有效地解决了原ELM算法存在的以上两个问题;最后,仿真实验验证了其有效性。(4)为了增加ELM模型的透明性,研究了若干种不同类型的先验信息在ELM算法中的融合问题。首先,通过构造对称激活函数建立了对称ELM,并证明其具有以任意精度逼近任意有限样本的逼近能力,仿真实验表明,对称ELM需要更少的隐含层神经元个数和更短的训练时间,同时能够获得更高的泛化性能。其次,还给出了若干线性等式先验信息在ELM中的融合算法,具体包括:已知特定点函数值、特定点导数值以及各输出函数间依赖关系的先验信息,这些算法能有效地增加ELM模型透明性并改进其逼近性能。(5)在ELM算法框架下,对高炉冶炼过程的数学模型进行了探讨,分别建立了高炉铁水硅含量的数值预测模型、趋势预测模型以及烧结矿化学成分预测模型。首先,建立了高炉铁水硅含量的ELM和DP-ELM数值预测模型,并与BP神经网络和SVM算法做比较,分析了所建立模型的优缺点,并指出DP-ELM和SVM性能相近,优于ELM和BP神经网络;然后,基于ELM和DP-ELM分类器输出的后验概率属性建立了高炉铁水硅含量的趋势预测模型,实现了高炉炉温的变化趋势预测以及相应后验概率的估计;最后,根据烧结过程自身的特点,在ELM框架下建立了融合领域知识的烧结矿化学成分预测模型。仿真实验表明,在ELM这种黑箱建模框架下融合先验知识对于提高模型性能具有重要的作用。(6)针对ELM/DP-ELM算法对冗余变量敏感的问题,提出了基于留一误差梯度的DP-ELM特征伸缩算法(FS-DPELM),并据此探讨了高炉冶炼过程新的建模方法。首先,严格推导出特征伸缩因子和拉格朗日乘子关于留一交叉验证误差的梯度计算公式;然后,结合BFGS拟牛顿法给出了FS-DPELM训练算法。仿真实验表明,基于FS-DPELM算法能够进一步提高高炉铁水硅含量以及烧结矿化学成分的预测精度。此外,FS-DPELM的特征伸缩因子为特征选择提供了一种新的数量依据,特征筛选后的高炉铁水硅含量FS-DPELM预测模型具有更好的预测准确性和稳定性。