无人车环境感知系统好比人类的感官系统,是无人车进行决策的信息来源。机器视觉是无人车进行环境感知最常使用的方法,因此研究基于视觉图像的无人车环境感知系统具有重要的意义。夜间道路能见度比较低,道路信息获取困难,相比于白天安全隐患更大。夜间无光的情况下,普通的可见光成像设备无法获取有效的环境信息,而红外热像仪的成像原理是获取场景的温度分布,对于获取夜间场景中的目标具有独特的优势。红外图像纹理信息少,对比度较低,因此夜间场景的无人车环境感知研究具有一定难度。利用夜视机器视觉对夜间目标进行检测与识别,获取无人车周边目标的信息,能够扩展无人车在夜间的感知能力,有效帮助无人车对障碍物及时做出相应决策。本文主要研究基于夜视场景的无人车周边目标信息感知。研究内容主要包括两部分:一、基于改进YOLOv3网络的目标检测与车辆角度预测;二、卷积神经网络与多尺度条件随机场级联的深度估计方法研究,将目标检测结果和深度估计结合,构建了周边车辆距离与速度感知模型。论文的主要创新点如下:1、提出一种能够预测车辆行车方向的改进YOLOv3网络,该网络将周边车辆角度信息加入到YOLOv3网络边界框位置信息中,形成端到端的网络。实现对无人车夜间采集的红外图像中行人、车辆的检测,大幅提升目标检测的速度和准确性。并且将判断周边车辆的行驶方向问题转化为预测车辆位置的角度大小问题,有效地预测周边车辆行驶意图。2、提出了基于卷积神经网络与多尺度条件随机场级联的深度估计算法,该算法融合了来自卷积神经网络的多尺度估计,在条件随机场框架内进行级联,并且通过平均场(MF)更新CNN实现顺序深度模型,从而实现整个网络的端到端训练。将实现的深度估计网络与改进的YOLOv3网络进行结合,在估计深度信息的基础上与目标检测结果结合,得到目标的距离及速度信息。