游戏AI是人工智能和游戏领域结合的产物,是强化学习领域的重要实验载体。强化学习解决的是序贯决策问题,与游戏中的智能体决策不谋而合。在该领域,近年来也出现了许多令人瞩目的研究成果,从早期的DQN控制雅达利游戏得分接近人类水平,到AlphaGO击败世界顶级围棋选手,OpenAI Five在Dota2电子竞技上击败国际顶尖队伍,该领域越来越受到学术界的关注和重视。传统强化学习理论采用的是低维的输入,动作状态空间都比较小,但在面临复杂游戏环境时却遇到了越来越多的挑战,比如高维的状态动作空间、游戏反馈延迟且稀疏、多智能体系统下的环境不稳定问题等。本文以相对复杂的动作类多人足球游戏为实验载体,结合多智能体领域的沟通机制和强化学习分层思想,提出带沟通机制的分层多智能体强化学习方法。理论层面上,本文将行为主义和连接主义方法结合,探索了复杂环境下的多智能体集群智能问题。算法层面上,本文通过智能体独立的思想,以去中心化的训练方式,在高层的网络中增加通信沟通机制,推动智能体之间进行沟通分享信息,完善对环境、对其他智能体行为策略的感知,一定程度上解决了环境不稳定的问题,并促进了多智能体之间的协作对抗行为。本文提出分层的Actor-Critic结构来解决足球游戏复杂且流程稍长,其奖励具有稀疏、延迟的问题,以不同的时间尺度对传统马尔可夫决策过程进行拓展,类似于大脑控制决策、躯干执行动作的高低层结构,并以改进的快速近端策略优化算法FPPO作为高低两层的核心强化学习算法。应用层面上,本文使用Unity开发3v3的多人足球对抗游戏,并基于该游戏进行算法的实验,应用本文带沟通机制的分层多智能体强化学习方法。在实验中,该算法取得了与其他先进的强化学习算法相比更优的结果,算法的收敛速度更快,最终效果更好,分层的结构让智能体能够应对复杂长流程的决策,多智能体沟通机制让多个智能体学到了多种协作的优秀足球策略。