随着城市交通拥堵问题日益严重，智能交通信号控制技术作为缓解交通拥堵最有潜力的方法之一，受到了国内外广泛的关注。由于交通系统具有复杂性、动态性和非线性的特点，基于对交通系统建模的传统自适应交通信号控制算法，已经不能应对日益多变的交通流。针对这一问题，有学者提出了基于强化学习的交通信号优化控制算法，因为强化学习方法不需外界环境的具体模型，通过不断地与外界进行交互，试错学习，实时调整策略，可以在复杂交通系统中取得很好的控制效果，成为近年来研究的热点。本文基于深度强化学习算法设计了城市智能交通信号优化控制算法，本文的主要工作如下：
　　(1)提出了一种基于深度强化学习算法的单交叉口信号优化控制算法，强化学习智能体感应交叉口的交通状态，实时调整信号控制方案。本文提出的算法相较于目前大多数信号控制算法，不仅可以灵活切换相位，在算法中增加了切换相位前需黄灯警示的步骤，提高了安全性;而且定义的状态维数低，但包含了绝大部分交通信息，使得强化学习模型能很快收敛，为在路网信号控制方案的设计打下了基础。仿真结果表明，该算法相比于固定配时法，可有效减少交叉口54.07%的车辆平均等待时间。
　　(2)设计了基于中心智能体的路网信号优化控制算法，中心智能体感应整个路网交通状态，实时调整所有交叉口的信号方案。在该算法中，将状态定义为所有交叉口的入车道的道路排队长度、车辆数目和车辆速度，将动作定义所有交叉口下一时间间隔的相位方案。提出的算法只需配备一个中心服务器，交叉口间不需要进行通信，应用成本低，适用于中小型路网。仿真结果表明，该算法可以有效减少路网中车辆的平均等待时间，相比于固定配时法提升效率高达55.98%。
　　(3)针对大规模路网场景，提出了基于多智体的路网信号优化控制算法，解决了大规模路网场景中的状态空间和动作空间维数巨大，强化学习模型难以收敛的问题。该算法的核心是：每个交叉口都由本地智能控制，本地智能体不仅感应本地交通状态，同时通过获取全局相位方案来感应整体交通状态；并且在智能体的奖励函数中增加了相邻交叉口的累积等待时间，从而使得交叉口智能体之间协调优化，高效的寻找最佳路网信号控制方案。本文的算法具有良好的扩展性，可以扩展到各种规模的场景中，同时智能体的计算成本不会随之变化。仿真结果表明，在大规模路网场景下，该算法相比于固定配时法和中心智能体算法可以有效减少78.26%和32.98%的车辆平均等待时间。
　　本文的研究针对不同场景，从设计智能交通信号控制算法的角度，进一步挖掘现有交通系统的供给潜力。仿真实验结果表明，在单交叉口、小规模路网、大规模路网和真实路网数据的场景下，本文提出的算法均可以有效地降低区域内车辆的平均等待时间，缓解城市拥堵，提升个人驾车体验，为推动城市交通智能化做出了一定的贡献。