机器人操作行为是机器人与外界交互的重要方式之一,逐渐成为机器人领域的研究热点,并且对机器人领域的发展具有重要意义。抓取行为是机器人操作物体的主要方式,但面对复杂且物体排列紧密的环境时,机器人仅通过抓取行为难以高效地完成操作任务,还需借助推动行为。推动行为可以为抓取行为创造空间,但二者的协同策略存在过拟合和采样效率低的问题,且缺乏有效的行为评价体系。为了使抓取和推动行为的协同策略对复杂而密集的物体排列环境具有更好的泛化性,本文提出了基于深度强化学习的操作协同策略,使机器人面对不同的环境采取不同的行为方式,并抑制了模型过估计行为价值,提高了采样效率和对新环境的泛化能力。本文的主要工作及创新点如下:（1）采用Double DQN算法解耦操作行为价值的计算和行为方式的选择。操作协同策略首先通过估计网络选择机器人下一时刻状态最大行为价值索引,然后根据索引选择目标网络对应的行为价值。但是目标网络输出的行为价值不一定是行为索引对应的最大行为价值,从而一定程度上避免了过估计,抑制了模型过拟合,提高了模型的稳定性和泛化性。（2）设计操作行为评价体系衡量操作行为质量。奖励函数根据行为评价体系的判定标准评估行为质量,以反馈到协同策略网络进行反向传播。针对抓取行为,在抓取行为结束时,判定抓手处于未闭合的状态为抓取成功;针对推动行为,通过目标检测方法识别物体的位置和数量,根据物体之间的欧氏距离,设计物体分离度,以衡量推动行为前后环境状态的改变,进而评价推动行为的质量。操作行为评价体系使奖励函数更加准确地反馈机器人的行为质量到协同策略算法的迭代过程,使协同策略具备更强的准确性和鲁棒性。（3）设计启发式引导策略为机器人提供先验知识。对于抓取行为而言,有效的探索空间为物体所在区域;对于推动行为,有效的探索空间为物体之外但在推动距离之内的区域。基于目标检测方法,启发式引导策略分别为抓取和推动行为计算有效区域,提供先验知识,减小了无效探索空间。（4）设计操作行为选择辅助机制解决机器人采取的行为方式与环境状态不匹配的问题。针对持续失败的抓取行为,根据抓取经验改变抓取行为方向;针对机器人持续推动单一物体的行为,根据推动经验改变行为类型。操作行为选择辅助机制弥补了协同策略计算行为价值的误差,辅助机器人对行为进行合理规划,提高了机器人的抓取成功率和行为有效率。