近年来,随着计算机视觉的发展和电脑算力的增强,前沿的科学家开始关注和研究自动驾驶这门新兴的科技,通过自动驾驶系统来解决拥堵的交通问题,提高车辆行驶的安全性和可靠性,减少人为因素造成的交通事故。基于视觉的智能车辆导航的研究可以追溯到1870年代早期,但由于当时的硬件水平还比较低,而图像处理是需要大量的计算,研究人员将花费太多精力在硬件平台的设计、实现和测试,并未实现车辆的自动驾驶功能。随着计算机硬件的飞速发展,许多问题已经得到了很好的解决。目前无人驾驶重要的问题之一是道路识别和车辆检测。自动驾驶若类比成人类来驾驶,人是通过眼睛来获取周围环境的信息,然后通过大脑处理后做出相应的转向和加减速等反应。那么自动驾驶就是通过利用车辆上的各种传感器,比如:毫米波雷达,摄像头,激光雷达等来获取环境信息,然后通过中心处理器来判断下一步应该执行的操作。其中,摄像头在环境感知中起着非常大的作用,并提供了及其丰富的环境信息,有着独一无二的优势。但随着大数据时代的来临,图像总量呈指数型的增长,对于语义分割检测车辆任务,其数据标注的工作量是十分庞大的,而对于目标检测来说,其工作量较少。在针对自动驾驶安全性和数据标注复杂度的情况下,本文以提高算法的实时性为首要目的,在保证算法实时性的情况下来提高目标检测和语义分割的精准度。首先,需要对图像进行预处理,然后通过编码器对图像进行特征提取,所提取到的图像特征会用来同时处理两类任务:目标检测和语义分割。这样可以通过共享编码区的方式获得公共的图像特征,来提升联合检测算法的实时性。同时在语义分割模块中加入带孔空间金字塔池化层其特点是可以解决输入图片大小不一的问题,并且可以提高检测精度。本文主要贡献点有:第一,提出通过共享编码区提取图像特征,进而实现语义分割、目标检测,实现模型检测实时性。第二,在语义分割任务模块中,加入了带孔空间金字塔池化层,在不影响实时性要求的情况下,提高语义分割任务的精度。实验结果表明,该模型的语义分割在KITTI数据集的城市标记道路上的平均精度达到93.89%,与KITTI数据集中的最优性能相比提升0.36%,同时最优联合检测速度达到27.67Hz,与Multi Net联合检测神经网络相比提高了4Hz。