为了在获取海洋资源的同时,保护海洋环境,维持可持续发展,我国建设了大规模的海洋牧场,如今我国已成为水产品大国。但由于一些诸如海参、海胆等水生物需要潜水员下海捕捞。这项工作难度高、危险大,所以成本很高,这也就催生出了使用水下机器人(Remote Operated Vehicle,ROV)代替潜水员下海捕捞的想法。由于现在大部分的ROV自主抓取方式都有着一些缺陷,造成了效率不高的原因,所以不能投入生产工作中。因此,本文希望可以利用深度强化学习解决水下机器人进行目标抓取的任务,并在与真实情况相似的仿真环境中加以验证。论文主要研究内容如下:根据ROV的实体,在mujoco软件中对其进行建模,并对水池环境进行仿真,设置环境中具体的密度与粘度。然后对ROV的运动学与动力学进行分析,其中包括ROV在环境中进行运动时所受的密度力与粘性力是如何计算的,并对仿真环境由简到难进行模拟,这为后面对算法进行仿真验证提供了平台,并且可以利用动画展示ROV的抓取过程。对水下机器人的推力分配,以及机械臂抓取过程对纵倾的影响进行分析,设置抓取时适合的抓取姿态使其可以完成遥控抓取、完全自主的两种不同抓取方式,并对两种抓取方式的不足进行分析。并采用遥控抓取的方式对监督深度强化学习所需要的的数据进行采集。利用监督深度强化学习的方式完成抓取任务进行研究,希望可以通过长短记忆网络与混合密度网络的特点对人类操作水下机器人完成抓取任务的数据进行训练,使训练完成后的网络可以在目标信息不完全正确的情况下最终完成抓取任务。由于采样困难的原因,只在仿真环境中进行了研究。为了进一步提高自主性,使ROV可以在更加贴近真实环境的仿真环境中高效率完成目标抓取。对深度强化学习的方法进行研究。为了避免稀疏奖励的情况,对奖励函数进行设置。分析算法在经过相同时间训练后所得到的效果,对其中效果最好的近端优化策略进行改进,使用KL散度代替对角高斯策略中的标准差项,使其能有效避免收敛到局部最优。并将其在更加贴近真实环境的仿真中进行逐步训练,并取得了不错的效果。