论文部分内容阅读
随着我国城市机动车数量日益增多,城市的交通拥堵成为制约当今城市化进程的主要因素之一。城市干线是城市路网的动脉。城市干线各交叉口之间信号控制的协调处理研究,对缓解城市交通拥挤具有重要意义。本文研究降低城市干线车均延误与车辆停车次数的动态协调控制方法,论文的主要工作如下:1.城市干线动态协调控制的深度Q网络方法本文将深度Q网络算法引入至城市干线的动态协调控制,并将城市干线的所有交叉口作为一个整体处理。该方法通过深度神经网络提取干线的交通状态特征,挖掘多交叉口交通信号控制的相关性,利用Q学习算法进行交通信号控制决策。本文针对城市干线的交通特性,对干线动态协调控制相关的状态空间、动作空间、奖励函数、以及深度神经网络结构进行详细的设计,并对智能体的训练方法加以说明。通过仿真实验平台验证了基于深度Q网络算法设计的干线动态协调控制的有效性。2.基于改进深度Q网络的干线动态协调优化控制为使城市干线动态协调控制效果得到进一步的改善,本文综合双重深度Q网络算法与基于竞争架构的深度Q网络算法,设计了基于DDDQN(Dueling Double Deep QNetwork)的干线动态协调优化控制,对深度Q网络的过估计问题以及深度神经网络结构同时进行改进,并对比了采用随机采样与优先经验回放对干线协调控制的影响。仿真实验结果表明:基于DDDQN的干线动态协调控制效果最优,且采用随机采样的方式进行探索学习,能较好地降低采样样本之间的相关性,在车流量较多的近饱和以及过饱和状态下表现较优。3.干线协调控制的平行交通系统实现由于实际交通环境下的实验存在较高的风险性,因此,本文引入平行交通系统方法,通过仿真实验平台对本文的干线动态协调控制方法有效性进行验证,以为其在城市干线协调控制的实际应用提供支撑。进一步在城市交通信号智能控制系统中,设计并实现了干线协调控制模块。