近年来,自动驾驶一直是热门话题,是一种依靠计算机系统的智能驾驶仪来实现的无人驾驶技术。在解决交通拥堵、减少交通事故方面具有重要作用,对未来出行、城市规划、基础设施建设等影响重大。其中城区道路错综复杂、人车流动量大,交通事故和交通拥堵发生最为频繁,是未来自动驾驶技术应用的主要场景,同时也是当前自动驾驶技术面临的巨大挑战。基于视觉的传统驾驶方案中,将整个驾驶策略割裂并包装成不同的规则模块,在高速公路等简单驾驶场景表现优异,但却很难胜任复杂多变的城镇驾驶环境。基于深度学习的算法,通过从人类驾驶演示的数据中直接学习驾驶策略,即以端到端的方式直接输出控制信息,在复杂驾驶环境中表现出了不错的效果。其中传统条件式模仿学习算法虽然解决了路口歧义性等问题,但缺乏可解释性,网络的特征提取和表达能力有限,在局部规划和细节实施上仍然存在着问题,例如直行道路速度慢、车身摇摆,驶入反向车道等。针对以上问题,本文提出使用深度残差网络架构并添加双重注意力模块来学习更加接近人类的驾驶技巧。首先,通过使用更深层的残差网络架构,进一步提升网络的细节特征提取能力,相较于传统模仿学习使用的简单网络框架,深层网络具有更加强大的学习能力,以满足多任务学习的数据需求。然后,通过引入双重注意力模块,自适应整合图像在空间和特征维度的全局上下文长程依赖,提高网络表达能力。其次,为了同时充分利用相机图像本身自带的多时段属性信息,重新设计了网络架构进行特征提取和整合,增加了模型时序性信息的可解释性。最后,基于多时段属性信息融合的条件模仿学习,设计出相应的自动驾驶决策系统,结合规则化和端到端深度学习,将输入、决策和控制分为三个独立的模块,模块间无耦合的设计避免了传统决策系统的繁复臃肿和自相矛盾。为了验证算法的有效性,本文使用CARLA驾驶模拟器进行仿真实验,实验结果表明相较于基准算法达到了更好的驾驶效果,更加深层的特征提取和多时段信息的融合能够有效提高代理的驾驶能力和驾驶完成度。