在智能车行驶的过程中,由于环境复杂性,单一传感器或者多个同质传感器无法完全感知智能车周围的交通环境。因此,需要研究异质传感器信息融合方案,利用异质传感器各自的优点,弥补单一传感器的不足,以实现多个异质传感器之间相互协作和相互补偿的功能。本文通过比较不同车载传感器的优缺点,最终选择了毫米波雷达和单目相机作为智能车感知前方环境的传感器。首先,为了保证异质传感器识别的目标信息在空间上和时间上的统一性,本文确定传感器之间的坐标转化关系,并将传感器坐标系映射到同一参考坐标系下。其次,并行处理毫米波雷达和单目相机目标信息。然后,在两类信号的时间和空间同步的情况下,采用全局最近邻(Global Nearest Neighbor,GNN)匹配算法匹配两类信号,用加权平均法将匹配的两个目标合并为一个目标。最后,采用扩展卡尔曼滤波(Extended Kalman Filter,EKF)算法跟踪未匹配的目标和匹配的目标,以确定目标的状态。本文主要研究内容如下:1.基于毫米波雷达的有效目标确定。介绍了毫米波雷达的性能和基本参数。根据CAN协议接收并解析毫米波雷达数据。分析雷达信号中的的空信号目标、无效信号目标和静止信号目标特点,分别用不同的信号处理方法去除这些信号目标;对于剩下的雷达信号目标,设定雷达测量范围和相应的阈值进一步提取雷达有效目标。2.基于SSD(Single Shot MultiBox Detector)的相机有效目标确定。研究了基于SSD的目标识别算法和训练过程。在采集了大量的包含不同目标种类样本的基础上,标注出样本图像中目标在图像中的位置信息和类别信息。将标注结果分为训练集、验证集和测试集,在深度学习框架Caffe平台下经过多次迭代运算训练出多目标检测模型。最后,在实车实验环境下验证该模型的目标识别结果。3.多传感器数据融合方法研究。将相机有效目标转化为点目标,然后将该点目标投影到车辆坐标系。分别对雷达目标序列和相机目标序列按距离的升序排序,用GNN算法匹配雷达目标序列和相机目标序列。对于满足GNN算法的目标,匹配结果为它们的加权值。分别跟踪匹配的目标和未匹配的目标,直到能确定目标的最终状态。4.实验分析。在智能车行驶过程中实时采集数据并进行融合处理。随机抽取可视化的融合结果,分析该融合方案在不同天气情况下的目标识别结果,对比分析基于传感器融合的目标识别结果与单一传感器的目标识别结果。实验结果表明,该融合方案可以弥补单一传感器的不足,提升目标的识别率。