机器人足球(RoboCup)是一个研究多智能体系统在实时对抗环境下决策与合作问题的平台。由于分布性、实时性、动态性、异步性等特点,使其成为分布式人工智能研究的一个标准的平台。防御仿真(Soccer Keepaway)是机器人足球中的一个小的子任务,是研究强化学习的标准平台(benchmark),大部分强化学习方法都可以在该平台上得以检验。 强化学习不需要先验知识,直接与环境进行交互获取知识、改进行为策略。由于能够处理噪声的干扰和随机性,以及延迟的目标,不必知道系统的动态模型。对于大的状态空间问题也可以通过状态压缩、函数近似的方法解决,能够相对快速地进行决策,能够解决RoboCup中的诸多富有挑战性的问题,因而在机器人足球中获得了广泛的应用。 本文分析了几种强化学习方法,包括基于值函数(Value-Based)近似方法、策略梯度方法(Policy Gradient)、以及Actor-Critic方法等。着重讨论了Actor-Critic强化学习方法以及用片(Tile-coding)线性函数近似来获取特征值的方法。而且分析了在防御仿真中使用Actor-Critic方法的优缺点,同时与基于值函数近似的强化学习以及基于策略梯度的强化学习做了一个比较。 最后,通过实验对强化学习算法得到的策略以及标准的策略做了一个比较。结果表明,通过强化学习方法得到的策略要优于标准策略;对于小的问题,球员在360度视角下,通过Actor-Critic强化学习方法得到的策略比基于值函数强化学习方法Sarsa(λ)得到的策略要好。