论文部分内容阅读
集成剪枝技术可以有效解决集成学习存在的高计算复杂度的缺点。在各种集成剪枝方法中,基于排序的集成剪枝方法方法简单但具有良好的性能优势。基于排序的集成剪枝方法的评估准则是影响其性能的关键要素。本文提出了四种可以应用于时间序列预测的基于排序的集成剪枝方法的评估准则,分别是:Com TSP,Con TSP,Re TSP-Value,Re TSP-Trend,Pocid TSP。Com TSP评估准则是根据面向分类问题设计的Com准则改造的。Com TSP评估准则的设计原理是如果子集成系统在剪枝集上的预测误差大于候选预测器在剪枝集上的预测误差,并且超过一定的阈值,那么这个候选预测器就是与子集成系统互补的。在每次选择一个候选分类器,使得在将其并入到子集成系统中形成新的子集成系统后的预测误差最小。Con TSP评估准则是根据面向分类问题的Con评估准则而改造设计的。Con TSP的设计原理是奖励能做出正确预测结果的候选预测器,并且如果候选预测器能做出正确预测结果而子集成系统不能做出正确预测结果,那么候选预测器应当给予更多的奖励。反之,如果候选预测器连同子集成系统都不能做出正确的预测结果,那么候选预测器就应当受到惩罚。Re TSP-Value和Re TSP-Trend评估准则根据RE评估准则而设计的,其设计原理很简单,就是选择一个候选预测器使得其并入到子集成系统中形成新的子集成系统的预测误差最小。然而,Re TSP-Value和Com TSP评估准则有一个共同的缺陷就是,这两种评估准则不能保证从候选预测器中选择到与当前子集成系统最互补的预测器。引起这个问题的原因是时间序列的预测误差具有方向性,所以说,以减小误差大小而忽略误差方向性为目标的评估准则的设计是不合理的。然而,本文设计的Re TSP-Trend集成剪枝评估准则同时考虑了预测误差的大小以及方向性,克服了其他集成剪枝评估准则存在的缺陷,可以选择到一个与当前子集成系统最互补的候补预测器。另外,有效预测时间序列的趋势对时间序列的预测具有很重要的意义。与以上面向提高时间序列预测精度而设计的集成剪枝评估准则不同的是,本文提出的另一种集成剪枝评估准则Pocid TSP是面向提高时间序列趋势的预测能力而提出的。极限学习机(ELM)与梯度下降学习算法相比,具有学习速度快,泛化性能好,避免陷入局部最优解而直接求得最优解等优良特性。本文还以ELM为学习算法提出了一种新的面向时间序列预测的集成模型PS-ELMs。它根据Stacking集成方法,使用ELM算法构成集成系统集合,并使用一个元方法组合集成系统中基模型的输出。其与传统Stacking方法不同的是,集成系统加入了剪枝的过程,以减弱集成系统中具有相关隐含节点的ELM模型和随机设置初始权值得到的ELM模型带来的随机性对集成系统的影响。本文提出的PS-ELMs可以自然地继承ELM算法的优势,并且通过使用集成剪枝的策略,可以在一定程度上改善其存在的缺点;其次使用集成剪枝方法有益于提高时间序列预测模型的鲁棒性和预测性能,弥补了当前研究工作的不足;最后,PS-ELMs模型的提出可以促进对Stacking集成方法的研究进展。