近年来,随着信息融合与人工智能技术的飞速发展,智能车的智能化水平也在不断提升,智能车的应用正逐渐从封闭园区、高速公路等相对简单的交通环境向更加复杂的城市环境渗透。由于城市路况复杂、人车混行、存在大量GPS盲区,智能车周围的动态目标多,且容易形成遮挡,这些因素给智能车的高精度环境感知带来了极大的挑战。为了解决以上问题,本文基于三维激光雷达、RGB摄像机等多源传感器采集的点云与图像数据,分别针对城市环境下智能车行驶地面点云分割、道路边界检测、目标识别等关键问题展开深入研究,具体研究内容如下:1.面向城市环境下的智能车行车环境感知系统框架设计。通过深入分析城市环境下智能车自主安全导航的需求,以长安大学“信达号”智能车为研究平台,完成了基于多传感器信息融合的行车环境感知系统的研制。该系统以车载激光雷达、毫米波雷达和摄像机为主要感知传感器,同时利用V2X车路协同感知终端赋予智能车超视距感知和协同交互的能力,实现了智能车对远、中、近行车环境的全方位感知。2.基于三维激光雷达实时的地面点云分割算法研究。针对城市场景中存在的路面高程起伏不平的特点,提出了两种鲁棒的三维激光雷达地面点云分割方法。首先针对高程起伏较小的路面,在深入分析其三维激光雷达点云分布特性的基础上,构建了一种基于栅格自适应的极坐标栅格地图,并将激光点云数据映射到栅格中,然后根据栅格中激光雷达点云的高度分布特征,将极坐标栅格分类为地面栅格、障碍物栅格和边界栅格三种情况,将地面栅格中的点标记为地面点云,利用地面高程变化的局部连续性进一步分割出边界栅格中的地面点云。实验结果表明该方法平均每帧处理时间仅为17ms,可实现平坦路面的实时分割,且分割精度超过95%。其次,针对高程起伏较大的路面,在深入分析地面部分和非地面部分相邻扫描线、同方位角激光点之间的径向距离变化特征的基础上,提出了一种基于相邻扫描线径向距离分析的地面点云分割方法。首先对无序点进行序列化,然后根据三维激光雷达扫描参数和车辆姿态计算出相邻扫描线、同方位角上两点之间的期望距离,利用实际距离和期望距离之间的变化关系分割地面点。基于重庆市典型的起伏路面对提出的方法进行实车实验,结果表明该方法在满足分割精度的同时每帧处理时间约为34ms,满足了智能车对算法实时性、高精度的要求。3.基于三维激光雷达的城市道路边界检测方法研究。针对城市环境下道路边界变化多样且在三维激光雷达点云中边界易受其他障碍物的遮挡而出现阻塞的问题,提出了一种实时鲁棒的道路边界检测方法。首先利用本文提出的地面点云分割方法实现激光点云中地面部分与非地面部分的快速分离,在降低待处理数据量的同时也分部分抑制了道路障碍物对道路边界鲁棒检测的干扰。然后,利用同一扫描线相邻点之间的最大最小高度差、夹角以及相邻扫描线同方位角上的两点之间梯度特征从地面点云中提取可能的道路边界特征点,并根据道路的线形变化趋势搜索前方候选道路边界点的位置和补全由于遮挡而阻塞的候选边界点。最后,通过三次B样条模型将候选边界点集拟合出道路边界线。实验结果表明:该方法每帧处理时间为36.5ms,平均准确率达93%,即使在道路边界被部分阻塞的情况下,依然能够实时、鲁棒地检测出各种典型道路边界。4.基于三维激光雷达点云与RGB图像融合的目标检测方法研究。三维激光雷达点云可以直接用于提取目标的位置和三维几何结构信息,而图像数据非常适合用于目标的识别。论文充分利用了二者的互补性,提出了一种融合三维激光雷达点云与图像信息的目标检测方法。首先利用三维激光雷达点云生成准确的目标三维候选包围盒,然后将这些生成的目标候选包围盒映射到图像空间中生成二维的感兴趣区域(ROI),并将其输入到卷积神经网络(CNN)中,进行自动识别。为了提高小目标的识别率,该方法结合了CNN中最后三个卷积层的特征来提取ROI的多尺度特征。本文利用KITTI数据集对提出的算法进行评估,该方法从每帧的三维激光雷达点云中平均生成近百个目标候选区域,召回率高于95%,其性能远高于使用类似滑动窗口的候选区域选择方法(通常会产生上千个候选区),大大减少了目标候选区域的提取时间,保障了算法的实时性。该方法每帧平均处理时间为66.79ms,可满足智能车对算法实时性的要求。该方法在获得目标深度信息的同时,对中等难度的车辆和行人识别准确率分别为89.04%和78.18%。本文研究的全部算法均在长安大学自主研发的“信达号”智能车上得到了应用,利用“信达号”车载三维激光雷达和RGB相机采集城市场景下的大量数据对本文提出的三种环境感知方法进行了系统化测试,定性和定量的实验结果表明本文提出的方法实时、准确、可靠,可以增强智能车的环境感知能力。同时基于本文环境感知方法研制的智能车在“世界智能驾驶挑战赛”、“i-Vista自动驾驶汽车挑战赛”、“中国智能车未来挑战赛”表现突出,获得多个重要奖项。