论文部分内容阅读
深度学习（Deep Learning,DL）基于多层网络结构来提取数据中的层次化特征,可使计算机通过简单概念构建复杂概念。与传统的机器学习不同,DL可在数据中抽取有效的特征表示,获得较高的处理性能,因此,它在多个领域获得了广泛的应用。深度信念网络（Deep belief network,DBN）受人脑认知推理过程启发产生,是迄今为止DL应用最为成功的深度模型之一,它由若干个受限玻尔兹曼机（Restricted boltzmann machine,RBM）顺序堆叠而成,其学习过程主要分为无监督预训练和有监督微调两个阶段,这种分阶段训练策略使其在学习深层结构上取得了巨大的成功,并逐渐成为学术界和产业界的研究热点。然而,DBN在学习算法和应用方面仍存在许多难以解决的问题,主要包括:1)在数据输入阶段,由于难以处理序列数据之间的自相关性,导致DBN预测值滞后于真实值,模型精度显著降低;2)在数据输入阶段,由于研究对象输入数据特征变量较多,变量间关系复杂且相互影响,造成输入层神经元过多,从而导致网络结构复杂性增加以及模型精度不高;3)在无监督逐层预训练过程中,特征的逐层压缩造成高隐含层信息损失,从而导致模型精度下降;4)在无监督训练过程中,超参数中的动量和学习率难以确定,初始权值随机初始化使网络收敛速度慢,且隐含层神经元之间耦合作用导致网络训练出现过拟合现象;5)在无监督训练阶段处理连续数据时,无法很好地逼近连续函数以及网络结构难以确定,导致模型精度不高的问题;6)DBN在现实空气质量预测应用中,大气环境中PM2.5存在着复杂非线性、随机性、非平稳性等特点,难以实现精准预测。由于DBN数据输入阶段以及无监督学习阶段的研究是DBN的重点,也是影响DBN学习性能的关键,因此,对其展开优化设计及应用研究具有重要的现实意义。论文的工作以及创新点如下:1)基于改进集合经验模态分解的深度信念网络模型设计（MEEMD-DBN-S A）针对DBN无法很好的处理序列数据之间的自相关性,导致预测值滞后于真实值以及预测精度不高的问题,设计了一种基于改进的集合经验模态分解（Modified ensemble empirical mode decomposition,MEEMD）的DBN模型。首先,设计一种MEEMD算法对输入样本数据信号进行分解,获取多个本征模态函数（Intrinsic mode functions,IMFs）组合,有效消除数据之间的自相关性;其次,建立一种基于模拟退火算法（Simulated annealing,SA）算法的DBN模型,通过优化模型结构建立IMF分量模型来进行有效预测;然后,将获得的DBN预测值进行重构相加,得到模型最终的预测结果;最后,将所设计的模型在大气CO2浓度预测以及污水处理过程总磷预测上进行了实验验证,实验结果表明,该模型能够缓解预测值滞后于真实值现象,提高预测精度。2)基于信息相关策略与最小顶点覆盖的深度信念网络模型设计（ICS-MVC-DBN）针对DBN研究对象输入数据特征变量较多,变量间复杂的关系相互影响,造成的网络结构复杂以及预测精度不高的问题,设计了一种基于信息相关策略（Information correlation strategy,ICS）与最小顶点覆盖算法（Minimum vertex coverage,MVC）的DBN模型。首先,采用最大信息系数（Maximal information coefficient,MIC）对输入数据的特征变量与网络输出变量进行相关性评估,删除相关性小的特征变量,实现重要性小的特征变量剔除;其次,基于MIC对剩余特征变量进行相关性评估,选出冗余变量,并保存其它变量为待选变量;然后,基于MVC算法对冗余变量进行选择,选择出最具有代表性的变量放入待选变量集合,从而完成冗余特征变量的剔除,接着将所有待选变量输入到DBN,完成模型的构建;最后,将所设计的模型在污水处理过程出水总磷预测以及混凝土抗压强度预测上进行了实验验证,实验结果表明,该模型能够降低网络结构复杂性,提高预测精度。3)基于逐层数据扩充的深度信念网络模型设计（LWDA-DBN）针对DBN在逐层预训练过程中,特征的逐层压缩造成高隐含层信息损失,从而导致预测精度下降的问题,设计了一种基于逐层数据扩充（Layer-wise data augmentation,LWDA）的DBN模型。首先,设计线性插值数据扩充方法对可见层输入样本数据进行数据扩充,生成虚拟数据,并把原始输入数据和虚拟数据一同作为可见层的输入,从而实现可见层输入的样本数量扩充;其次,采用线性插值数据扩充方法对可见层输出数据再次进行扩充,生成虚拟数据,并同时利用输出数据和虚拟数据对第一个隐含层进行预训练,从而在第一个隐含层获得相应的特征数据;然后,将获得的特征数据视作第二个隐含层的输入特征数据,继续进行数据扩充,生成更多丰富和多样性的特征样本,实现隐含层信息损失的补偿,并对第二个隐含层进行预训练,直到完成所有隐含层的预训练;最后,将设计的模型在大气CO2浓度预测,以及风速预测上进行了实验验证,实验结果表明,该模型能够通过降低信息损失来提高预测精度。4)基于变超参数与dropout算法的深度信念网络模型设计（VSP-DR-DBN）针对DBN无监督预训练存在着超参数中的动量和学习率难以确定、随机权值初始化引起网络收敛速度慢、隐含层神经元之间耦合作用而导致训练过拟合问题。设计了一种基于变超参数与dropout算法的DBN模型。首先,设计了基于变动量和变学习率的超参数调整策略来自动调整DBN无监督预训练阶段中的动量和学习率;其次,采用改进的权重初始化方法来对DBN的权值参数进行初始化,加快网络收敛速度;然后,基于dropout算法来降低隐含层神经元的耦合作用,并利用对比散度算法进行训练;最后,将所设计的模型在洛伦兹混沌序列,CATS人工时间序列数据集,风速预测数据集上进行了实验验证,实验结果表明,该模型能够自动调整超参数中的动量和学习率,提高了收敛速度和预测精度。5)基于自适应变异粒子群优化算法的深度信念网络模型设计（EDBN-AMP SO）针对DBN无法很好的处理连续数据以及结构难以确定的问题,设计了一种基于自适应变异粒子群优化（Adaptive mutation particle swarm optimization algorithm,AMPSO）算法的改进DBN模型。首先,采用高斯噪声变换对DBN进行改进,增强其处理连续数据的能力;其次,采用对比散度算法对网络进行训练;然后,设计了一种AMPSO算法对网络结构进行寻优,获得最佳网络结构;最后,将所设计的模型在洛伦兹混沌序列预测,污水处理过程出水氨氮预测,和非线性动态系统辨识数据集上进行了实验验证,实验结果表明,该模型能够有效处理连续数据和自动确定最佳网络结构,提高了预测精度。6)深度信念网络在空气质量预测上的应用PM2.5作为评估空气质量的重要指标,准确预测PM2.5浓度不仅有利于相关部门为居民的出行及活动提供空气污染等级预警,保障人们的生命健康,而且对大气环境的治理及保护具有非常重要的现实意义。文中针对大气环境中PM2.5存在着复杂非线性、非平稳性等特点,难以实现精准预测的问题,将前文设计的模型进行综合对比分析,选取出适用性好的ICS-MVC-DBN模型、VSP-DR-DBN模型应用到PM2.5预测中。为了客观真实的验证所设计模型的有效性,以杭州市PM2.5浓度数据为研究对象进行预测,实验结果表明,所设计的模型能够实现PM2.5的精准预测。