随着科学技术的发展,人工智能已经成为专家学者研究的热点领域,而构建能够在复杂环境中做出较好决策的智能体是现代人工智能研究的基石。然而,由于智能体环境部分可观察且不稳定、多智能体之间以及智能体与环境之间相互影响相互制约等因素,多智能体问题仍然是一个极具挑战性的研究任务。基于强化学习的多智能体协作近年来已被证明是解决此类问题的较优范例之一。多智能体通信是实现多智能体协作的最常用方法之一。但是,现今多数智能体的通信协议通常采用人工制定的形式,无法捕获智能体之间的动态交互,导致智能体环境不稳定。为此,本文以动态实现多智能体协作为目标,以尽可能快的训练智能体为原则,构建了一个新的注意力通信模型(ACM),自适应地构建通信路由以及通信信息。论文工作的主要工作和贡献如下:(1)提出一个新的协作感知网络(CAN)。该网络既可以动态计算各智能体之间的关系确定其通信路由,又可以从各智能体的状态信息中蒸馏出其通信内容。使用该网络不仅可以节省通信资源,而且可以充分利用智能体的行动策略信息。利用该网络,可以动态构建通信协议以适应不断变化的环境及策略,提升智能体训练的稳定性,从而使得各智能体可以获取更智慧的协作策略。(2)构造出注意力通信模型。本文成功地将协作感知网络与强化学习算法构建的策略网络相结合,构造出注意力通信模型,两个网络迭代更新以获取具有协作能力的智能体。为了缩短训练过程,本文在注意力通信模型中引入注意力机制选择有效信息,同时采用元学习思想训练智能体使智能体学会学习。经过充分训练,注意力通信模型在协作领域表现出杰出的能力。(3)论文将构造的注意力通信模型在离散环境追捕游戏以及连续环境多步行者游戏中与三个代表性竞争算法进行对比测试,并以直观的图形分析了动态蒸馏出的各智能体的通信消息。测试结果表明,注意力通信模型在多智能体协作方面表现优于基准算法。