行人检测是自主车环境感知系统中极其关键的工作。现在的基于视觉的行人检测虽然已经取得了很好的检测效果,然而,彩色相机对光照和阴影比较敏感,同时不能提供精确的位置信息,难以满足自主驾驶任务的需要。因此本文融合图像和激光雷达完成行人检测与跟踪任务,降低行人检测中对单传感器检测效果的依赖,同时实现稳定的行人跟踪。本文完成的主要工作包括:1.实验分析了训练一个行人分类器的三个方面,即特征、分类器以及训练样本,为分类器的训练提供了指导,并根据车载相机的特点,提出了基于相机投影约束的训练与检测框架。同时,针对单模板分类器的缺点,从特征空间及人工经验两个角度对行人进行分类并训练多个行人子模型,显著提高了检测效果。本章提出的算法在我们建立的行人数据库中进行了性能测试和对比,实验结果显示该方法达到了6.06%的平均丢失率,并应用于实际的无人驾驶车辆环境感知系统。2.提出了一种新的加入局部模型约束的行人检测问题的描述方法。在形式化描述行人躯干与行人局部位置关系后,我们将行人得分分解为检测得分和位置约束得分,并将最终的检测问题转化为一个最大化全图行人得分的问题,最后使用匈牙利算法进行求解。3.提出了一种融合图像与激光雷达的行人检测与跟踪框架。本框架中,将雷达分割作为弱分类器,将基于视觉的行人分类器作为强分类器,结合雷达的前后帧关联结果整合多帧检测信息,最终的行人检测结果则是由多帧多传感器检测结果以投票策略共同给出。实车实验表明本章提出的融合框架能给出稳定的检测与跟踪结果,对于视觉上行人漏检的情况更为鲁棒。