车辆三维检测是智能交通发展过程中的重要一环,在自动驾驶及辅助驾驶和智慧交通系统中都发挥着重要的作用。自动驾驶系统中,车载摄像头与激光雷达从驾驶视角采集场景信息,这些信息使得车辆能够对三维世界的进行实时感知。彩色图像数据包含了丰富的视觉信息,但有着尺度不确定性的缺点,且无法感知空间信息;激光雷达能够准确感知空间信息,但缺乏彩色信息,且数据在空间分布上十分稀疏。为更好的感知道路环境中的车辆信息,本文提出一种面向自动驾驶的车辆三维目标检测算法,该算法基于计算机视觉与深度学习理论,利用双目相机和激光雷达传感器提供的道路场景信息,通过多模态信息融合检测车辆三维目标。本文在KITTI 3D Object数据集上进行研究,主要通过3部分进行。第一部分,利用双目视觉技术进行视差计算,得到左视图的视差图,并进一步计算得到深度图,转化为双目点云。第二部分,将双目点云数据与激光点云数据融合,得到更全面的点云数据,并通过三维检测器检测车辆目标,得到3D Bounding Box。第三部分,使用二维检测器检测左视图中的车辆二维目标,并根据二维与三维检测结果进行联合检测,得到最终结果,实现对道路场景中车辆目标位置、尺寸与方向的感知。本文的研究工作主要由以下4个方面展开:第一,对于双目视差估计,本文采用基于AANet+的方法,视差估计过程总共分为5个阶段,分别为:特征提取、匹配代价计算、自适应代价聚合、视差回归与视差精炼。为了更好地通过视差获取深度,本文以深度误差作为损失值训练模型。经视差估计与深度转换,可通过相机的成像模型将左视图中的每个像素映射到三维空间,得到点云。第二,本文对各传感器的信息进行了融合处理,通过双目视差估计得到的点云将与通过激光雷达扫描得到的点云融合,融合后的点云通过Voxel R-CNN三维检测器进行三维目标检测,在这一过程中,点云数据将转化为体素,并提取空间特征,得到Ro I区域,并经进一步推断得到目标三维信息,包括坐标、尺寸与全局方位角。本文对原有的Voxel R-CNN模型进行了改进,通过引入残差连接通道,强化了模型的性能。实验结果表明,本文的三维检测方法是有效的,对KITTI 3D Object中Moderate难度目标的检测准确率为92.88%。第三,对于二维目标检测,采用了YOLOv5作为二维检测器,并研究了YOLOv5的特点与结构。为了尽可能利用该模型的优势,本文对YOLOv5-x模型进行了优化部署。实验结果表明,二维检测器具有较好的性能,整体准确率达95.2%。第四,为了结合视觉与空间信息,本文提出一种联合检测方法,以整合二维与三维检测器的结果。该方法对2D Bounding Box与3D Bounding Box进行重合度计算,并根据重合度与置信度对三维检测的结果做出修正。实验结果表明,联合检测能有效提高三维检测的准确率,经联合检测后,对KITTI 3D Object中Moderate难度目标准确率提升为93.17%,其余各项指标也有所提升。