欠驱动系统,是一种泛指独立控制输入空间维数相比于系统自由度少的典型控制系统,它的本质上是属于非线性系统,其特点之一便是输入空间的维数低于它所构造的空间。相比较全驱动系统,欠驱动系统具有结构简单,可以节约能源,成本相对低廉,系统更加灵活等诸多优点。欠驱动系统的特点是结构简单,便于对系统进行整体分析以及仿真实验,便于研究和验证各种算法的有效性。近几十年来,欠驱动系统的控制一直都是控制科学技术领域的热门课题。强化学习技术作为一类求解序贯、优化具体决策问题的重要机器学习分支领域,已经被广泛地研究并应用于机器人控制、人工智能和新型人工智能系统等诸多领域。深度强化机器学习将一种具有感知分析能力的深度学习和具有决策分析能力的强化学习紧密地结合在一起,它是一种比较接近人类的思维模型方式。然而,在智能体训练过程中,智能体需要大量的数据用以形成最优策略,但不同数据在训练过程中起到的作用不尽相同。因此如何充分利用训练数据最大化智能体的训练效率是一个关键问题。本文将深度强化学习方法应用于欠驱动控制系统中,所做的工作主要如下:首先,针对智能体效率低下这一问题,提出了一种基于改进深度学习策略梯度算法的控制方法,其中,强化学习系统由策略神经网络和基线函数网络构成,神经网络激活函数采用了近年来新发现的Swish函数作为神经网络的激活函数,并添加了同样采用相同激活函数的神经网络逼近的基线函数。避免了非线性神经网络常常存在的由于结构复杂性导致收敛困难的问题,在学习环境动态化时很容易发生对于环境进行过拟合。其次,在智能体训练过程中,由于状态空间太大,而与之相对应的有效奖励信息又太小,导致学习缓慢甚至无法进行学习。针对如何改善强化学习算法中容易出现的稀疏奖励问题,提出了一种全新的基于聚类分析的经验池的强化学习算法。通过将经典的聚类分析的方法应用到连续状态空间,用不同的聚类簇分隔状态空间,并构造一个探索度函数作为额外的附加奖励。将这个额外奖励附加到原基础奖励中,再用复合奖励进行智能体的训练。通过对传统强化学习算法中引入改进经验池,直接使用稀疏奖励样本进行学习时可以直接提升策略对环境的探索能力,避免了神经网络的训练发散。使得强化学习算法的性能获得普遍提升。最后,将新的算法应用于小车倒立摆控制系统,并与经典的控制算法进行了比较,仿真和实验的结果说明本文算法具备一定的有效性。