论文部分内容阅读
复杂系统广泛存在于气象、水文等众多领域,具有多变量动态演化行为和多层次结构,大多呈现出混沌特性,无法建立精确的解析模型。在此背景下,多元时间序列分析与建模技术应运而生,为复杂系统研究提供一条新的途径。近年来,回声状态网络引起了国内外学者的广泛关注,成为时间序列预测领域新的研究热点,但是关于其训练过程和结构优化的研究尚未成熟。本文以回声状态网络为多元时间序列的主要预测模型,改进其学习算法和结构,建立组合预测模型,以提高预测精度、实现多步预测和在线预测。主要内容包括:1、针对储备池状态矩阵规模庞大、现有基于降维方法的回声状态网络模型计算复杂的问题,提出新型的降维预测模型。回声状态网络具有成百上千个隐层节点,其产生的大规模储备池状态矩阵通常具有病态特性,可以采用降维方法提取大规模矩阵的子空间,子空间代替原始大规模病态矩阵求解输出权值。但已有的研究如主成分分析等方法涉及到大规模稠密矩阵特征值分解问题,计算复杂度高。为解决上述问题,本文首先采用小规模三对角矩阵的特征值逼近原始大规模矩阵特征值,建立快速子空间回声状态网络模型,降低模型计算复杂度,提高预测精度。其次,考虑到大规模储备池状态变量间相关系数较大、近似共线性严重的问题,本文采用因子分析方法将大量具有线性相关关系的储备池变量归结为少量综合因子,利用公因子代替原状态矩阵求解输出权值。最后,由于实际数据中含有噪声,引入具有局部保持特性的Laplacian特征图还原回声状态网络隐层节点的非线性连接关系,提取状态矩阵的低维流形特征。在此基础上,分析模型的瞬态稳定性、局部可控性和局部可观测性。2、针对储备池状态变量存在冗余成分的问题,提出稀疏正则化回声状态网络模型。为去除冗余成分、降低储备池状态变量间相关性,同时减小输出权值的幅值,对输出权值施加自适应L1范数惩罚项和L2范数惩罚项,建立自适应弹性网回声状态网络模型。L1范数惩罚可以使得冗余成分对应的输出权值幅值收缩为零,L2范数惩罚可以连续收缩变量间的相关性,减小非零输出权值的幅值,自适应项则可以减小较大输出权值处的偏差,提高模型的预测精度。由于自适应惩罚系数的计算会增加算法的计算复杂度,进一步研究具有更好稀疏性的L1/2范数正则化,建立基于L1/2范数与L2范数的混合正则化模型,只需很小的正则化系数就可以得到稀疏的输出权值,且幅值较小。由于正则化系数较小,引入的模型偏差很小,无需额外施加自适应惩罚系数,算法计算简单,泛化性能好,预测精度高。为实现多步预测,利用Lyapunov指数计算混沌时间序列的可预测尺度,在可预测尺度内,混合正则化预测模型能够取得较高的预测精度。3、针对单一改进回声状态网络不足以映射多元时间序列复杂统计特性的问题,提出新型的回声状态网络组合预测模型。为避免病态解问题和冗余成分问题,需减少隐层节点数,因此,要求神经元具有很强的表示能力。基于此,将小波分析与回声状态网络融合,建立对角结构小波回声状态网络模型。为丰富神经元的多样性,激活函数选为Sigmoid型函数与小波基函数的复合函数。考虑到时间序列中既存在线性特征又存在非线性特征,而且误差序列中仍含有一定的规律,提出基于误差补偿的预测方法。首先采用ARMA模型预测线性特征,得到服从弱高斯分布的残差序列,然后采用岭回归回声状态网络预测残差序列,最后将残差预测值补偿到ARMA模型预测值中。此外,由于复杂系统特性随时间发生变化,观测到的混沌时间序列呈现出非平稳特性,提出非线性卡尔曼滤波回声状态网络模型,实时调整网络参数。采用不同复杂系统中观测到的时间序列进行仿真实验,结果表明,所提模型具有很好的适应性,并且具有较高的在线预测精度。