无人驾驶汽车通过多种车载传感器、控制器和执行器实现与周围环境的信息交互,实现安全高效的自动驾驶。其中,环境感知模块作为无人驾驶技术的重要组成部分,其主要目的是及时准确地感知周围环境,保障驾驶的可靠性,减少事故的发生。目前的环境感知方案中,单一传感器本身存在的局限已无法满足日益增长的感知需求,因此需要采用多传感器数据融合的方式弥补不足,从而获得更加丰富的环境信息,提高感知系统的鲁棒性。本文利用单目摄像头和激光雷达完成基于图像和激光雷达点云数据融合的行人检测研究,首先联合标定了单目摄像头和激光雷达传感器。首先,采用张正友标定法对单目摄像头标定,获得摄像头的内方位参数。其次,采用Pn P算法求解3D空间到2D图像的对应点,通过特征点对匹配获得激光雷达坐标系与摄像头坐标系之间的旋转矩阵R和平移矩阵T,完成两传感器的外参标定,实现空间同步。接下来,采用ROS中的时间同步机制根据最近邻匹配时间戳,实现时间同步。最后,设计实际现场实验,激光雷达点云数据投影至对应图像上的重投影误差在0.38pixel,标定效果好。然后在Velodyne 16线激光雷达数据采集、点云滤除的基础上,改进基于投影的栅格高度差法,引入高度方差信息,提出快速进行地面点云去除的处理方案,在障碍物聚类的基础上,基于鸟瞰投影法的最小包围盒算法构建了行人目标点云的三维包围框,实现了基于激光雷达数据实现行人目标检测。与此同时,采用生成对抗网络GAN去除图像数据噪声,基于实时性与准确性平衡原则,从扩展数据集、改进分类器和最优锚框获取三个方面改进了YOLOv3目标检测算法,实现基于图像数据的行人目标检测。现场实验结果显示,采用改进后的YOLOv3算法,行人目标检测的平均准确率提高了2.6%。其次设计了一种基于决策级与像素级的混合式数据融合框架。首先,利用联合标定得到的旋转平移矩阵将三维包围框内的点云数据投影到图像像素点,并与图像目标检测框关联。然后,根据红黑树的数据结构将图像的类别信息插入到对应的点云数据中,对点云数据的通道进行扩增。最后,鉴别行人点云,并输出包括位置、长宽高等信息的点云数据。现场实验结果显示,激光雷达与单目摄像头融合情况下进行行人检测,可以得到目标行人准确的三维包围框和类别信息。最后基于图像和激光雷达点云数据融合检测的结果,在匈牙利最大匹配的基础上,采用卡尔曼滤波算法实现了行人跟踪。现场实验结果显示,被跟踪的目标行人ID号未发生变化,且其运动轨迹清晰准确。