深度学习(Deep learning,DL)本质上是指一类对具有深层结构的人工神经网络进行训练的方法,是一种模拟脑神经系统对感知信号进行分层处理的深层结构。深度信念网络(Deep Belief Network,DBN)是为了简化逻辑斯蒂信念网络的推理困难而提出的一种深度模型,也是目前DL最主要的实现方式之一。DBN由若干个受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)顺序堆叠来构造,其学习过程分为两个阶段,首先对RBM进行逐层无监督预训练,再用反向传播算法对整个网络进行有监督的调优。DBN的这种分阶段训练方法使其在学习深层结构上取得了一定的成功,并在图像处理、声音辨识、自然语义理解及回归和预测等任务中得到了关注和研究。然而,目前的DBN在处理实际复杂数据时,无监督预训练和反向传播(Back Propagation,BP)调优算法均显现出了不足,主要表现在预训练耗时长和调优精度低;另一方面,目前的DBN多数是通过足够的经验和充足的数据确定其结构,且在训练过程中结构将不再调整。在实际过程中,DBN只是通过改变权值参数来适应任务的变化,但如何构造一种DBN使其结构在动态调整的同时不断调整权值参数,是DBN发展的趋势,也是一个开放且尚未解决的问题。研究DBN结构优化设计方法,是为了克服DBN预训练耗时长和调优精度低两个缺陷的同时获得DBN结构动态调整的有效方法。根据设计要求可知,DBN动态结构的训练分为两个阶段且结构在训练过程中实时调整,因此现有的固定结构学习算法难以适应其训练要求。为了解决DBN结构优化设计过程中的问题,本文在深入分析现有DBN研究成果的基础之上,设计了预训练阶段的自适应学习率;建立了基于偏最小二乘回归(Partial Least Square Regression,PLSR)的新型DBN有监督调优模型和稀疏表述方法;研究了包括增量式结构和增长—删减机制在内的一系列结构自调整策略;获得了结构动态调整过程中DBN权值参数的学习算法,并且对结构调整过程中的算法收敛性进行了深入的分析。同时,探索性地将DBN与强化学习(Reinforcement learning,DL)、生成式对抗网络(Generative adversarial network,GAN)以及模型预测控制(Model predictive control,MPC)结合起来,建立了高效的学习和优化控制模型。论文主要工作和创新点如下:(1)无监督学习改进型研究针对DBN无监督特征学习耗时长的问题,设计了自适应学习率算法,旨在提高无监督预训练的学习速度和特征提取效率。由于无监督预训练过程中特征提取与原始数据重构交替进行是一个复杂度较高的计算过程,现有基于固定学习率的对比散度(Contrastive Divergence,CD)参数调整算法削弱了无监督预训练的速度。文中提出一种学习率自适应调整机制,根据CD算法中参数每两次迭代方向的异同来动态降低或增大学习率,不仅能够提高学习速度,还能避开局部最优问题。实验结果证明了以上改进型算法在提高学习速度和特征提取效率方面上的有效性。(2)深度信念网络有监督学习改进型研究针对网络输出鲁棒性能差和传统有监督学习精度低问题,文中提出一种基于PLSR逐层调优的自适应稀疏表述DBN(AS-PLSR-DBN),旨在提高DBN的鲁棒性和调优精度。首先,设计自适应学习率来加速RBM的训练过程,引入两个正则化项来实现稀疏表述(AS-RBM)。其次,以最后一个隐含层提取到的特征为自变量,以输出层的期望输出为因变量,建立PLSR模型,并以同样的方法自上而下每两层建立一个PLSR模型。第三,给出了收敛性分析。最后利用AS-PLSRDBN对Mackey-Glass时间序列预测、二维函数逼近以及复杂系统识别,结果证明了AS-PLSR-DBN具有较高的学习精度和速度,同时具有较强的鲁棒性。(3)自组织深度信念网络尽管DBN已经取得了诸多应用上的成功,但目前其结构大多数是利用人工经验确定且在训练过程不再调整。这种类似超参数赋值的固定结构无法满足数据多样性的任务要求,也无法实现DBN的高效学习。针对DBN的结构设计问题,提出一种基于隐含层神经元激活强度和误差下降率的结构增长—删减设计方法。通过分析隐含层神经元在学习过程中的激活强度,删除激活强度小的神经元,将激活强度大的神经元进行分裂。同时,将网络输出的误差下降率作为隐含层增减的标准,误差下降率如若递增则增加隐含层,误差下降率首次出现递减则减少隐含层。通过对非线性系统建模、污水处理过程出水总磷浓度预测以及大气污染物浓度预测证明了该方法的有效性。(4)基于迁移学习的增量式深度信念网络针对自组织结构中反复权值初始化导致的训练耗时问题,提出一种基于迁移学习策略的结构增量式DBN设计方法。首先,初始化一个结构简单的DBN并对其进行学习预训练,预训练结束后固定学习到的权值参数(知识源域)。其次,在初始化DBN的基础上定量增加神经元和隐含层(目标域),并设计一种有效的迁移学习策略将知识源域中的知识转移到目标域中,从而实现对目标域快速有效的预训练并不断增加结构规模。最后,根据输出性能的误差指标设计一个结构增长的停止准则,结构一旦停止增长将固定不变,并进入有监督训练阶段。利用增量式DBN对CATS缺失时间序列预测和污水处理过程出水总磷浓度预测,结果证明了基于迁移学习的增量式深度信念网络具有较好的结构自调整能力和复杂非线性系统逼近能力。(5)深度强化学习网络通过分析可知,实现知识增殖需要强有力的特征感知方法,而实现关键特征识别则需要快速有效的决策方法。深度学习能够利用其强大的无监督特征提取能力快速的获取数据的先验知识,强化学习则能以试错的机制与环境进行交互,通过最大化累积奖赏的方式来学习到最优决策方法。针对手写数字标准对象MNIST数据库的识别精度低的问题,提出一种将深度学习与Q学习算法相结合的新型判别网络(Q-ADBN)。首先,利用自适应深度自编码器(ADAE)对原始信号进行抽象特征提取,Q学习算法将ADAE对原始信号的编码特征作为当前状态。然后,对当前状态进行分类识别得到一个奖励值,并将奖励值返回给Q学习算法以便进行迭代更新。对MNIST数据库的实验结果证明了Q-ADBN具有快速的学习能力和较高的识别精度。(6)基于能量函数的生成式对抗性深度信念网络生成式对抗网络是目前人工智能领域的一个研究热点,引起了众多学者的关注。针对现有生成式对抗网络生成模型效率低下和判别模型的梯度消失问题,提出一种基于重构误差的能量函数意义下的生成式对抗网络模型(RE-GADBN)。首先,将自适应DBN作为生成模型,来快速学习给定样本数据的概率分布并进一步生成相似的样本数据。其次,将自适应深度自编码器的重构误差作为一个表征判别模型性能的能量函数,能量越小表示生成式对抗网络学习优化过程越趋近纳什均衡的平衡点,否则反之。在MNIST和CIFAR-10两个标准数据集上的实验结果表明,相较于现有的类似模型,RE-GADBN在学习速度和数据生成能力两方面均有较大提高。(7)基于深度信念网络的模型预测控制方法在研究一系列DBN结构优化设计方法的同时,注意到变结构DBN具有较强的复杂系统建模能力。模型预测控制是一种适用于过程控制的滚动优化控制方法,其核心是建立一个能够以较高精度逼近被控对象的预测模型。基于此,探索性的将变结构DBN作为预测模型,研究变结构DBN与控制策略滚动优化的闭环系统动力学特性。首先,将变结构DBN作为被控系统的预测模型,学习并预测被控系统的动力学特性。其次,根据预测模型输出与被控系统参考输出之间的误差以及被控系统控制输入的变化量,建立二次优化模型来求解控制律在每一时刻的最优值。对非线性系统的跟踪控制实验结果初步证明了所提方法的有效性。