随着硬件设备和人工智能算法的不断发展,人工智能已经渗透到生活的各个方面,人工智能辅助甚至完全替代人类操作成为一种趋势。智能汽车(IV)搭载的先进驾驶辅助系统(Advanced Driving Assistance System,ADAS)利用安装在车上的多种传感器,在汽车行驶过程中实时感应周围的环境,采集数据,进行静态、动态目标的识别、检测与追踪,并结合导航仪地图数据,进行系统的运算与分析,从而预先让驾驶者察觉到可能发生的危险,有效地增加了汽车驾驶的舒适性和安全性。ADAS系统被中国汽车行业视为“弯道超车”欧美及日本等汽车强国的最佳途径。然而,传统ADAS系统结构往往以其中所有环节正常工作为前提所设计,实际应用中缺乏容错机制。2016年7月发生的特斯拉自动驾驶致人死亡事故,依赖于摄像头传感器的系统将白色卡车车身上的反光判别成天空区域;2018年发生的Uber自动驾驶系统碰撞行人导致行人死亡的事故,由于夜晚,摄像头发现行人的时间过晚,Lidar系统发现行人却没有被系统采信,而最后时刻发现行人准备采取紧急制动时,系统为了保持汽车姿态没有采取行动。针对出现的种种问题,ADAS系统亟需在容错上取得进展。本文在ADAS系统的传统架构“数据采集—目标检测—决策”中融入容错思想,改进为“数据采集—数据恢复/增强—场景预测—目标检测一增强学习决策”架构,以实现智能汽车的容错感知与决策控制的目的。具体内容如下:1.针对恶劣天气(雨雾天气)对摄像头传感器产生干扰的问题,提出三种改进的图像去雾霾算法。首先,针对传统方法实时性不佳的问题,提出一种改进的基于暗通道优先(Dark Channel Prior,DCP)的去雾算法,优化区域计算为像素计算,使之能够在一次遍历中评估出所有参数,并通过数据统计对产生的误差和按照通道(RGB通道)进行补偿。实验结果表明改进算法的速度是原始算法的10倍以上。其次,为了克服传统基于先验经验的方法存在适用范围的局限性,引入深度学习方法对雾霾图像进行恢复。为了克服深层网络在传播数据过程中产生的数据损失,采用浅层网络,逐“部”(block)逼近的方法,并改进损失函数为峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似性(structural similarity index measurement,SSIM)的加权和。实验数据由深度图片数据库(Make3D和NYU Dataset)和雾霾模型构造而成,结果显示网络在堆叠到3层时,恢复效果和运算速度会达到最佳平衡点。最后,为了克服去雾数据样本少,端对端模型泛化能力弱的问题,采用条件生成式对抗网络(Conditional Generative Adversarial Networks,CGAN)的方法恢复雾霾图像,实验表明基于条件生成式对抗神经网络能够在数量较少的训练数据集中获得足够的泛化能力。2.为了向ADAS系统决策提供更多的依据,为传感器提供冗余数据,保证ADAS在面对传感器故障时有足够的时间进行应急操作,利用循环神经网络(Recurrent Neural Networks,RNN)对场景(雷达信号和视频信号)进行预测。首先,传统RNN在学习长序列时,由于梯度随时间反向传播(Backpropagation Through Time,BPTT)时会产生梯度衰减和梯度爆炸问题。传统的解决方法包括使用改进的激活函数(如Rectified Linear Unit,ReLU),增加L2-正则化,使用“门”控制(如 Long Short-term Memory,LSTM和Gated Recurrent Unit,GRU)。本文将残差学习引入到RNN中,提出了一种残差循环神经网络(Residual RNN,Res-RNN)。残差学习将梯度传递从连乘转化为连加,使梯度传递变为恒等映射。实验表明Res-RNN能够在大大缩短训练时间和预测时间的前提下,提供与LSTM和GRU相同的网络能力。其次,在场景预测中,将传感器采集到的信号视为时间序列,则雷达信号为一维时间序列,Res-RNN能够有效的预测雷达信号,继而将视频信号视为二维时间序列,将Res-RNN中的全连接部分替换为卷积操作提出Res-rCNN,预测视频信号,实验表明残差学习和RNN的结合为RNN的梯度问题提供了新的解决方案,并且能够有效地预测场景。最后,前文以及前人的场景预测方法是以短时间内智能汽车的运动状态保持稳定为前提,考虑到智能汽车有自主改变运动状态的能力,提出一种将视频信号和操作信号作为输入的视频信号预测网络——移动预测网络,该网络能够根据驾驶员的操作对预测信号进行调整。实验表明移动预测网络能够准确预测运动状态突变时的场景。3.为了给ADAS系统提供更多的环境感知信息,对雷达类主动传感器提供信息冗余,甚至在雷达传感器工作失效时加以替代,提出一种加强的目标检测方法。该方法将序列学习和目标检测结合,从一段视频中预测目标种类,位置信息,以及相对位置和相对速度。在数据方面,使用Kitti数据库、Prescan产生的数据库以及Carla仿真环境标注目标类型、位置、相对距离和相对速度。在模型方面,序列学习使用上文提出的Res-rCNN,其中,残差部分引入Inception结构,为模型增加尺度不变性。模型通过一系列改进,使检测能力和速度预测能力达到较高水平。实验表明加强的目标检测方法能够准确地预测目标的种类,位置,以及相对距离和相对速度。4.为了提高ADAS系统的决策能力,克服传统决策方法依赖于规则库和端对端驾驶控制中的开环映射问题,提出一种基于深度学习的决策控制方法解决方案。首先,为了克服智能汽车无法理解文本交通法规,且现行算法没有对交通规则进行特别的关注,提出一种文本边界增强学习决策控制方法。该算法集合了GAN网络非监督学习的特点和梯度优化能在连续域中做出决策的特点。除此之外,文章引入自然语言学习的理念,使增强学习能够学习交通法规。具体地,神经网络通过采集的正负样本学习交通法规得到交通法规文本的特征,并将此表示作为条件,训练神经网络做出的决策实现控制目标并不违反交通规则。实验表明文本边界增强学习方法能够很好地操作汽车,并且遵守文本法律。另外,为了克服基于深度学习普遍是前馈控制,状态和指令无法做到一一映射,利用内容2中对场景的预测,将预测网络加入到闭环回路中,与实际场景进行对比,为训练驾驶系统提供更多的信息和限制,提高了驾驶的安全性。实验表明闭环的端对端方法控制更加准确,对输入噪声的鲁棒性更强。论文通过Prescan,Carla等仿真环境,以及Kitti等公开数据集,分步展示实验结果和本文方法的性能,并与当前主流算法进行对比。在数据使用方面,综合使用公开数据集和仿真场景提高训练效果。