近年来,随着多智能体深度强化学习方法的快速发展,多智能体深度强化学习技术广泛应用于多智能体合作、竞争以及合作-竞争等诸多应用场景当中,在实际应用当中发挥着重要作用。如何有效地应对环境的非稳定性和简化策略学习过程,是当前复杂合作-竞争环境下的多智能体系统亟需研究和解决的两个挑战性问题。为此,本文针对上述两个问题展开研究,提出了基于增强策略泛化能力的敌-友深度确定性策略梯度方法和基于目标分层分组通信的多智能体强化学习方法两种新颖方法,在此基础上,设计实现了一个合作-对抗环境下的多智能深度强化学习策略优化原型系统,并对所提出方法的有效性进行了实验验证。本文的主要研究内容如下:（1）针对环境的非稳定性问题,基于现有的最大最小化多智能体深度确定性策略梯度算法（M3DDPG）,将敌友Q学习算法（FFQ）中的最小化敌人和最大化友方的思想引入到集中训练分布执行框架中,提出了一种基于增强策略泛化能力的敌-友深度确定性策略梯度方法（FD2PG）,该方法从团队角度出发,从增强敌方团队的对抗能力和提高我方团队的合作能力两个方面同时进行优化,从而有效地提高了我方团队智能体在合作-对抗环境下学习到策略的性能和泛化能力。（2）针对随智能体种类和数量增加导致的智能体策略学习难度呈指数级增加问题,从简化策略学习过程的角度出发,提出了一种基于目标分层分组通信的多智能体强化学习方法（GHGC）,该方法首先利用先验领域知识或预定义的规则对智能体进行分组,将相同目标或种类的智能体聚集到同一组中;在此基础上,提出了 一种知识共享方法保持组内智能体的认知一致性,从而实现组内智能体之间的合作;最后,通过引入组间通信和价值分解的方法来保证各小组之间的合作,进而实现整个合作团队中智能体合作策略的学习,从而有效地简化了智能体的策略学习过程。（3）基于上述研究工作,设计实现了一个多智能深度强化学习策略优化系统,并针对上述工作的有效性进行了大量的实验验证与评估。实验结果表明,本文所提出的方法相比于现有的方法,在策略性能和策略拓展性等方面上均取得了明显的提升。