机器人运动控制是指在复杂环境下,将预先设定的控制规划指令转换成所需的机械运动,从而实现对机械运动的精确控制,如对位置、速度、扭矩、加速度等的控制。近年来,人工智能在机器人运动控制领域发展迅猛,深度强化学习（Deep Reinforcement Learning,DRL）作为人工智能的一个重要分支,也得到了极大的应用。如何将DRL应用到机器人运动控制问题中,是近几年的研究热点。在DRL中,agent试图学习在一个环境中执行一系列动作,使累积奖励最大。但单纯的累积奖励优化而没有一些鼓励智能探索的机制,可能会使得agent无法正确的学习;对于稀疏的奖励信号问题,可能没有奖励梯度可循;并且DRL方法对其超参数的选择比较敏感,通常具有脆弱的收敛性;此外,DRL在训练过程中容易对环境过度拟合。针对以上问题,本文的主要研究内容包括以下几个方面:（1）由于DRL算法难以处理稀疏奖励问题,存在缺乏有效的探索以及对超参数的选择比较敏感的脆弱收敛性的问题,使其难以应用于大规模实际问题。粒子群优化算法（Particle Swarm Optimization,PSO）是一种进化计算方法,它的主要思想是通过种群中个体之间的相互合作和交换信息来寻找最优解决方案。本文结合PSO和DRL算法,DRL通过PSO种群提供的多种数据来训练种群中累积奖励最低的几个策略,并且每次都将训练后累积奖励得到提升的策略插入PSO种群,增强DRL与PSO之间的信息交流,该算法称为PSO-RL,能够提升DRL算法的性能和稳定性。在一系列具有挑战性的连续控制任务中进行的实验表明,PSO-RL不仅优于传统的深度强化学习算法,而且优于结合进化算法（Evolutionary Algorithm,EA）和DRL的进化强化学习（ERL）。（2）在深度强化学习中,智能体每次都需要从头训练策略参数,需要通过与环境交互,产生大量的样本来训练神经网络,因此需要花费大量的训练时间。为了解决这个问题,本文提出了一个改进的元学习算法,把改进的粒子群优化算法嵌入元学习算法MAML中,该算法称为PSO-MAML,它不仅能够自适应地学习策略网络参数,还自适应地学习粒子群优化的惯性权值。MAML算法是训练模型的初始化参数,然后经过几次微调就能快速适应新的任务,不过它在训练过程中存在探索速度慢和求解二阶导数困难的问题。本文提出的改进元学习算法PSO-MAML具有基于种群的多样化探索,能够提升算法的泛化性,同时避免了计算二阶梯度,可以更有效地学习。仿真实验结果表明,该算法的性能和训练时长都优于基于进化策略的MAML改进算法——ES-MAML,证明了该算法具有更有效的探索性,而且泛化性能更好。（3）以通用的环境模拟器PyBullet作为开发环境,研究基于以上两种改进算法在机械臂自主操作抓取物体环境中的有效性。由于PyBullet模拟器相比其他模拟器在深度强化学习环境中更具优越性,因此本文使用PyBullet中KUKA机械臂抓取物体训练进行模拟测试。通过将环境的状态作为神经网络的输入,机械臂根据神经网络输出的各种动作的概率大小选择动作,并获得立即奖励,然后机械臂通过算法学习改进策略,对以上两种改进算法的有效性进行了验证。在同一环境中,与传统的深度强化学习算法相比,本文提出的算法更适合应用于该环境,它们具有较高的成功率,而且随着迭代回合的增加,机械臂花费的步数越来越少。