随着人工智能和5G技术的全面推广,自动驾驶技术呈现出快速发展的趋势。为了应对复杂多变的环境,就要求自动驾驶汽车有更完善的环境感知能力。目前自动驾驶环境感知主要以相机、激光雷达为作为核心的传感器。然而,各个传感器都有各自的局限性。单目相机无法进行测距。而激光雷达则缺少物体颜色信息,难以识别车道线以及交通标识等信息。融合图像与点云能精准获取带有深度的环境信息。因此,为了实现满足自动驾驶要求的环境感知,本文的主要内容是基于RGB图像与点云融合的环境感知方法研究。本文将环境感知任务分成了交通标识与三维目标检测两大部分。对于交通标识检测任务,使用基于行选择的车道线检测与改进的YOLOv3算法在图像中分别检测车道线与交通标志。对于基于行选择的车道线检测,利用网格化的行锚分类大大减少了计算量;同时设计了一种基于车道线连续性的形状损失函数解决了车道线被部分遮挡导致难以检测的问题,在CULane的Normal数据集上检测精度达到90.7%。对于改进的YOLOv3交通标志检测,通过提取Darknet-53中更浅层的特征图用于解决小目标定位误差大的问题,然后使用一种弱化的非极大值抑制机制来保证两个相邻较近的交通标志可以被正常地输出,在CCTSDB数据集检测精度达到了98.7%。在图像中完成交通标识检测以后,利用雷达与相机的联合标定,将交通标识投影到点云,如此便使检测结果获得了深度。对于三维目标检测任务,本文提出了一种基于图像与点云融合的目标检测方法。首先,用二维检测器生成的检测框对原始点云进行过滤,以减少数据量;然后,提出了一种基于广义霍夫变换的改进的投票模型网络用于提取多尺度特征,解决了点云密度不均匀的问题;输出的多尺度特征被输入到由FCN以及检测头和回归头组成的RPN网络进行分类和回归;最后,二维DIOU损失函数被扩展到三维,以提高生成的框和目标框的一致性,从而优化分类和回归的精度。在公开的KITTI数据集上进行的大量实验显示,我们的算法较改进前基线,在三维检测精度上提升0.71%,达到了89.73%,而在鸟瞰图检测精度上提升了7.28%,达到了97.51%,表明了算法改进的有效性。为了对上述交通标识与三维目标检测算法进行统一验证,本文还设计了一套基于ROS的融合感知系统,利用ROS便利的消息机制完成多进程间的通信与信息的整合,实现了对交通标识与三维目标的实时检测,并将算法统一到同一框架下进行了联合检测。