相对于单路口控制,区域交通控制能够获得整体最优的效果。传统的区域交通控制方法需要建立整个区域交通系统的模型,但由于城市交通系统是一个典型的非线性、动态时变的、不确定性的复杂大系统,因此建立其精确的数学模型非常困难。Q学习算法无需模型且能实现在环境中学习控制策略,适合战略控制,为区域交通控制提供了新思路。然而,Q学习算法自身还存在一些问题,如学习速度慢,动作选取中的扩张与探索之间的平衡问题等。为使Q学习算法更好地应用于区域交通控制,论文主要在以下方面进行了研究:1.研究了目前几种常见的Q学习改进算法,分析了它们在解决上述Q学习算法问题上的不足之处,并针对这些不足,提出了一种新的Q学习改进算法——SA-FQL算法。SA-FQL算法首先将模糊推理系统引入Q学习,利用模糊推理系统能够将先验知识嵌入到模糊规则的优点,提高学习速度。然后,再引入模拟退火算法的Metropolis准则,通过算法进行过程中温度等参数的变化来自动调节探索与扩张的比例,从而实现探索和扩张之间的平衡。2.研究SA-FQL算法在区域交通控制中的应用,提出一种基于SA-FQL算法的区域交通控制方法。首先利用SA-FQL算法优化区域的公共周期,然后在给定周期的基础上再用SA-FQL算法优化区域中各干线相邻两路口的相位差,最后根据交通流量确定各路口的绿信比。3.介绍了交通仿真软件TSIS,用VC++6.0编写RTE接口程序并利用TSIS对本文控制方法、基于Q学习算法的控制方法和基于模糊Q学习算法的控制方法进行了仿真。仿真结果表明,相比后两种方法,本文方法在提高学习速度和交通效率上都更具优越性。