机械臂抓取静态或动态物体是智能工厂流水线上的常见工序,可以取代人工提升生产效率,视觉伺服可以根据实时图像反馈控制机械臂跟踪抓取目标物体,而以图像雅可比矩阵方法为代表的传统图像视觉伺服高度依赖特征点的稳定匹配,鲁棒性弱且难以应对目标物脱离视野的情况。本文将深度强化学习算法与视觉伺服相结合,提出了基于深度Q网络（DQN）及深度确定性策略梯度法（DDPG）的通用化视觉伺服方法,训练深度神经网络根据手眼图像输出机械臂动作,跟踪并抓取目标物体,并提出优化方法解决了原算法中网络训练效率低、收敛性差的问题,在仿真与实际系统中验证了效果。本文的具体研究工作如下:（1）面向笛卡尔空间位置控制的视觉伺服,提出了通用化的基于改进DQN算法的DQN-PBVS和DQN-IBVS方法,分别可训练神经网络根据位置反馈、手眼图像反馈输出机械臂末端在笛卡尔空间中的位姿动作,跟踪抓取目标物体。针对一般DQN网络训练中采用状态评价式奖励函数和单经验池造成容易陷入局部极值、训练效率低及收敛性弱的问题,提出了结合双经验池的势能差分式奖励函数构造法,能有效避免策略陷入局部极值,提高优良样本利用率,经数据对比验证提高了DQN网络训练效率与收敛性。为验证上述方法,针对具体任务自主设计了神经网络结构和训练策略,于仿真中进行训练,并验证可跟踪抓取静态或动态的目标物体,能够在目标部分脱离视野的情况下稳定跟踪,具有良好的抗扰动性能和动态跟踪性能。（2）面向速度控制的视觉伺服,提出了通用化的基于改进DDPG算法的笛卡尔空间DDPG-IBVS方法和关节空间DDPG-IBVS方法,前者可训练神经网络根据手眼图像反馈输出笛卡尔空间实时速度,后者训练的网络可实现无模型端到端地根据手眼图像实时控制六关节速度,跟踪抓取目标物体。针对一般DDPG方法中同时训练两个深度网络造成的学习效率低、收敛性差的问题,除了采用结合双经验池的势能差分式奖励函数构造法之外,还提出了异构状态的Critic网络优化设计方法,使Critic网络更高效地辅助Actor网络的训练,经实验验证,进一步提高了DDPG网络的训练效率和收敛性。为验证上述方法,针对具体任务自主设计了分支深度神经网络结构和训练策略,在仿真和实际机械臂抓取系统均验证了其跟踪抓取的抗干扰性能和动态跟踪性能。