论文部分内容阅读
先进驾驶辅助系统(Advanced Driving Assistant System, A-DAS)是当前智能车辆领域的研究热点,前视场景深度信息是A-DAS中避障和行人保护模块的主要信息源。针对基于3D激光雷达获取的景深信息稀疏度较高,在处理具体前视目标距离估计时,需要将深度图与基于可见光图像的障碍物检测与识别结果进行时空匹配与关联等相关问题,本文提出了一种利用车载前视单帧图像实现在线进行景深估计与障碍物相对距离统计的方法。本文的主要工作如下:
首先,本文研究了一种基于卷积神经网络(Convolutional Neural Network,CNN)的无监督景深估计方法。此方法无需在训练过程中使用输入图像的真实深度数据作为标签,仅通过图像就可以提取对应的稠密深度图。在离线训练过程中,利用卷积神经网络强大的拟合能力,根据双目图像立体匹配的原理,训练神经网络逐像素地估计视差图;在线景深估计过程中,待测试的单帧图像通过预模型参数拟合出视差图,结合焦距和基线距离信息即可将视差图转换为场景深度信息。本方法将双目图像的左右视图都输入到神经网络之中,使神经网络可以同时预测左右视差图,并在损失函数中加入左右一致性损失项,进一步约束视差图生成的准确性;为了进一步提高前视目标物距离估计的准确率,本文提出了一种多尺度统一的方法,使各个尺度特征图的优化目标一致,从而减轻深度图中目标物表面的“空洞”现象。
其次,为了进一步提高景深估计的精度,本文在无监督的景深估计方法的基础上,结合雷达采集的稀疏真实深度数据,提出了一种半监督的景深估计方法。此方法在训练过程中引入稀疏的真实深度数据,形成部分深度标签。与纯粹的无监督景深估计方法相比,此方法的误差减小了3.6%。
最后,将预测出的景深估计图与目标检测与识别结果相结合,获取前视场景中具体目标的距离信息,将其作为 A-DAS 中避障和行人保护模块的输入。此方法以目标实例分割方法为基础,利用单帧图像将驾驶场景中最常见的交通参与者,如车辆,行人等目标分割出来,之后将分割模板直接与其对应的深度区域进行融合。此外,针对分割出的障碍物,提出了基于深度图中位数统计的目标距离估计方法,最终得到障碍物的整体深度,以供驾驶辅助系统做出不同的驾驶辅助判断。
首先,本文研究了一种基于卷积神经网络(Convolutional Neural Network,CNN)的无监督景深估计方法。此方法无需在训练过程中使用输入图像的真实深度数据作为标签,仅通过图像就可以提取对应的稠密深度图。在离线训练过程中,利用卷积神经网络强大的拟合能力,根据双目图像立体匹配的原理,训练神经网络逐像素地估计视差图;在线景深估计过程中,待测试的单帧图像通过预模型参数拟合出视差图,结合焦距和基线距离信息即可将视差图转换为场景深度信息。本方法将双目图像的左右视图都输入到神经网络之中,使神经网络可以同时预测左右视差图,并在损失函数中加入左右一致性损失项,进一步约束视差图生成的准确性;为了进一步提高前视目标物距离估计的准确率,本文提出了一种多尺度统一的方法,使各个尺度特征图的优化目标一致,从而减轻深度图中目标物表面的“空洞”现象。
其次,为了进一步提高景深估计的精度,本文在无监督的景深估计方法的基础上,结合雷达采集的稀疏真实深度数据,提出了一种半监督的景深估计方法。此方法在训练过程中引入稀疏的真实深度数据,形成部分深度标签。与纯粹的无监督景深估计方法相比,此方法的误差减小了3.6%。
最后,将预测出的景深估计图与目标检测与识别结果相结合,获取前视场景中具体目标的距离信息,将其作为 A-DAS 中避障和行人保护模块的输入。此方法以目标实例分割方法为基础,利用单帧图像将驾驶场景中最常见的交通参与者,如车辆,行人等目标分割出来,之后将分割模板直接与其对应的深度区域进行融合。此外,针对分割出的障碍物,提出了基于深度图中位数统计的目标距离估计方法,最终得到障碍物的整体深度,以供驾驶辅助系统做出不同的驾驶辅助判断。