随着我国经济迅速发展,机动车辆的保有量也呈现大规模增长。随即过多的机动车数量给我国交通安全带来了巨大的挑战。近年来自动驾驶及高级驾驶辅助系统(ADAS)受到世界的广泛关注和研究。而多分类、多目标检测与跟踪是自动驾驶环境感知层面的关键技术之一。实时、准确的多分类、多目标检测与跟踪系统为自动驾驶决策提供了有效的依据。目前基于视觉的目标检测已经有了很好的表现,因为视觉获取的环境信息丰富,在目标识别与分类中体现了强大的优势。但是由于视觉本身的缺陷,检测跟踪效率受目标在运动中特征的可变性、尺度变化、遮挡因素、光影变化的影响很大,而且不能够准确地提供目标位置信息。激光雷达能够准确地获取目标的三维信息,而且探测的距离比较远,但是得到的目标特征比较少。因此,一个基于视觉与激光雷达融合的系统,对于多分类、多目标检测与跟踪有着重要的意义。基于此,本文采用车载多传感器融合技术,基于视觉和激光雷达融合,针对自动驾驶道路场景中的多车辆检测与跟踪系统进行研究。实现了视觉和雷达信息的融合,并通过融合信息对道路多目标车辆进行高效、可靠地检测跟踪。本文具体研究重点和创新如下:第一:将深度学习检测网络框架运用在检测与跟踪系统中。本文将基于深度学习框架的YOLOv2算法运用在多目标检测与跟踪算法上。YOLOv2是有着高准确率且运行速度相对较快的多分类、多目标检测算法。本文基于YOLOv2的网络框架,对KITTI和VOC2012数据集中车辆标签和非车辆标签进行分类并训练,得到车辆的检测网络模型。并将此算法运用在检测与跟踪系统中,显著提高检测层面的准确率,且没有太多地占用计算资源,保证后续跟踪系统高效运行。第二:实现车载的激光雷达与相机融合的系统。本文根据激光雷达距离测量和信号校准原理,确定激光雷达的坐标系;然后根据世界坐标系与相机以及像素坐标系之间的转换关系,以世界坐标系为媒介实现激光雷达与像素坐标系之间的转换,完成激光雷达与相机之间在空间和时间上的融合。最终得到每一时刻,图像上每一点在激光雷达点云中的三维信息。第三:实现基于视觉和雷达点云信息的多车辆跟踪。通过相机与激光雷达融合后所提供的车辆道路上的环境信息,对每一帧中检测出的车辆目标进行跟踪,得到该车辆唯一的一个ID和其对应的运动轨迹,并在其由于遮挡、光照等原因没有检测到时,可以根据其跟踪轨迹预测出车辆在这一帧的位置,提高检测精度。在构建相似性矩阵中采用视觉和点云加权的方法提高跟踪精度。