随着智能交通在智慧城市中地位的提升,智能交通视频监控系统得到了更大的关注,如何让视频监控系统拥有更多的智能功能,成为工业界和学术界争相考虑的问题。目前智能交通视频监控系统的智能功能更多的停留在诸如对物体进行检测与跟踪、异常情况报警等方面,而作为智能交通视频监控系统核心功能的车辆检测及细粒度分类问题的研究由于难度较大,还没有很好的实质性产品面世,尤其是在车辆的细粒度分类功能上,目前尚没有可投入实用的研究成果。针对复杂背景下的交通场景图像,本文提出了采用深度学习的方法来解决车辆检测及其细粒度分类问题。主要对其关键性的三个技术问题开展研究,即:(1)如何解决车辆数据集的构建问题,从而为深度网络模型提供训练数据;(2)如何构建一个适用于车辆检测的深度模型,实现快速有效的整车检测;(3)如何解决车辆细粒度分类问题中由于类内差异大于类间差异而导致的分类正确率不高的问题,从而实现高效的车辆细粒度分类。论文的主要工作如下:首先,提出了基于深度学习的车辆检测及其细粒度分类一体化框架,该框架可以输入具有复杂背景的交通车辆图像,在对其进行车辆检测之后,把得到干扰背景较少的高质量整车图像输入到细粒度分类模型中,这在很大程度上提高了细粒度分类的精度和速度。其次,通过采用网络协同标注、汽车实物模型拍照以及汽车三维模型自动生成等三种方式,来生成大规模车辆数据集。采用这些方式生成数据集可以节省大量的图像收集及标注时间,同时可以避免标注时的不精确给算法带来的影响。实验表明,通过以上方式采集到的车辆数据,能够作为深度学习网络模型训练的有效数据。再次,在参考与分析Faster R-CNN通用物体检测框架的基础上,针对车辆刚体及对称的特性,对框架中的RPN网络进行改进,提出了一个更适用于车辆特点的汽车整车检测网络模型。实验表明,该模型能以85%的正确率和每秒5张图像的检测速度进行整车检测。最后,将汽车按部件分成13个不同的组成部分,然后针对每个部件训练出一个部件检测CNN。接下来融合13个部件检测网络,进行投票决策,得出输入车辆图像所属细粒度分类。从而把相似度很高的整车细粒度分类问题转换成差异性较大的车辆部件分类问题。针对五款车型的细粒度分类实验表明,该方法能达到68%的分类准确率。