本文在基于智能体学习的基础上,以RoboCup2D为实验平台,对多智能体强化学习及协作问题进行研究,研究内容如下:单智能体的控球策略优化问题中,提出了一种基于Sarsa(λ)算法的仿真足球机器人控球方法。首先在控球球员中加入Sarsa(λ)学习算法,对控球动作进行优化;然后通过对Keepaway抢球-控球模型中特点的分析,合理的划分控球球员的状态变量,依据控球球员是否拥有持球权定义动作函数与奖惩值,实验表明Sarsa(λ)算法的强化学习在Keepaway中使控球球员控球时间延长,控球成功率提高。针对多智能体的进攻协作问题,设计了加入通讯后的Sarsa(λ)算法实时广播智能体消息机制。首先在球员进攻协作中加入通讯的Sarsa(λ)算法,实时广播智能体当前状态-动作对的消息,提高了多智能体之间的通讯效率;其次根据球员间距离与角度更新进攻球员的状态变量,并以进球得分及加强协作效率为目标计算进攻球员的动作函数及奖惩值,对比分析有通讯与无通讯Sarsa(λ)算法的强化学习过程,实验验证有通讯Sarsa(λ)算法可加强多智能体的进攻协作,提高进攻协作效率。多智能体的攻防协作问题中,设计了一种基于Q-learning(λ)算法的攻防协作平衡体制。将Q-learning(λ)算法应用于多智能体协作中,加快学习收敛速度;接着基于球场区域化对智能体的状态变量进行划分,动作函数则分解为进攻协作和防守协作,其中防守协作的动作函数由一般球员与守门员不同模块构成,根据智能体以进球为目标和球的位置变化原则考虑奖惩值,实验数据验证了Q-learning(λ)算法收敛速度快,且能有效提升球队的攻防协作能力。