多Agent(机器人)系统在适用性、经济性、鲁棒性、灵活性和容错性等方面相比单Agent具有巨大的优越性,非常适合在恶劣、危险、影响人类健康环境下代替人类完成实际生产甚至军事领域中的复杂工作。如果多Agent系统要真正发挥作用,使其自适应环境的学习控制方法是非常重要的。强化学习方法作为目前被广泛关注的机器学习方法,能够使Agent具有在线的自学习能力,因此被广泛应用于多Agent系统的行为学习领域。目前对于多Agent强化学习算法及其应用的研究主要集中在强化算法自身的收敛问题和使Agent兼顾自身和整体利益的问题上,以及实际应用中存在由于计算复杂度过高和‘维度灾难’导致的无法连续学习的问题和系统效率不高的问题上。本文针对以上问题,展开了以下的研究：将Q算法推广应用于多Agent系统,介绍了在此基础上基于博弈论框架的多种强化算法。分析对比了这些算法在应用中的优缺点,选择了可以保证收敛性与理性,具有较低计算复杂度,但在实际应用中往往存在维度灾难问题的CE-Q(基于相关均衡解的多AgentQ算法)算法。针对CE-Q算法在应用中存在的维度灾难问题,利用K-Means算法对环境特征进行聚类,通过“环境状态类-策略”的映射有效避免多Agent强化学习过程中的学习空间组合爆炸产生的维度灾难问题。提出对Agent动作过程进行奖赏的方法,在原有针对结果的即时奖赏当中加入即时的动作过程奖赏函数。Agent在完成任务的过程中往往要经历一系列动作,动作过程奖赏函数对每个动作都进行奖赏,使Agent能够更充分地利用自身产生的经验,大大降低了Agent通过错误、低效率动作获得奖赏的概率。最后进行了仿真实验验证。利用Matlab7.0及Multi-Agent toolbox程序包构建了仿真实验平台,以具有广泛应用背景的多Agent觅食为实验任务,对三种常用的强化算法进行仿真实验与相互比较。仿真结果表明了改进后的CE-Q算法在应用中具有有效性和优越性。本文提出的改进CE-Q强化学习与K-means聚类混合算法在保证强化算法理性、收敛性的基础上,具有计算复杂度低、联合学习速度快、系统效率高等优点,其自身可能出现的‘维度灾难’问题也得到了改善。预计能在实际的应用中取得良好效果。