无人驾驶作为汽车未来的发展方向,其对于汽车行业和交通运输业都有着深远的影响。整个无人驾驶系统是由一系列感知、规划、决策和控制等子系统构成。其中,环境感知模块主要负责获取驾驶环境信息,一般包括摄像机、毫米波雷达、激光雷达等传感器。使用最为广泛的、获取信息最为丰富的是摄像机,它是无人驾驶汽车的“眼睛”。机器视觉技术是基于摄像机的环境感知的基础技术,而深度卷积神经网络是当前机器视觉领域的主要工具。然而,由于驾驶环境复杂,无人驾驶中机器视觉还存在许多挑战,在分类、定位、分割等任务中精度还有待提高。原因一方面是深度神经网络模型训练需要大量训练数据,而用于无人驾驶技术的数据获取成本往往较高,数据量有限,使得大型深度神经网络的泛化能力受到限制;另一方面,无人驾驶环境复杂,需要深度神经网络的训练更高效,模型泛化能力更强,以适应多变的驾驶环境。图像分类任务作为视觉感知技术的基础技术,在驾驶环境的语义分析中发挥重要作用。因此,以图像分类任务作为背景对深度神经网络进行研究有重要的理论和实践意义。随着神经网络的网络结构创新和数据表征的丰富,其模型泛化能力也得到进一步增强。但是,依靠加深网络层数的方式提高网络性能的方法已经接近了极限,越来越多研究聚焦于深度神经网络的其他技术环节。其中,深度神经网络的训练策略对网络模型的最终泛化能力有重要影响。训练策略包括了对数据的前处理、损失函数的设计、优化方法、模型的后处理等。因此,相比进一步提高网络深度或改进网络结构,对深度神经网络的训练策略进行改进,模型泛化能力有更大提高空间。数据增强算法属于数据前处理的重要组成部分。数据增强技术基于有限的训练样本,生成新的训练样本,从而增大训练样本规模。理论上,数据增强方法是在原始训练数据分布的基础上,定义出原始数据的邻域,并在邻域中提取新的训练样本,以实现数据增强。在完成数据前处理后,要拟定目标函数,采用优化算法对模型参数进行调整,以达到目标函数损失最小。在众多优化方法中,基于梯度优化方法在当前深度神经网络训练中占据主导地位,但是其依然存在许多问题,其中包括振荡、收敛速度慢等。深度神经网络的全连接层可以被视为线性系统,其可以采用最小二乘法来求解误差的近似最小值。因此,可探究将最小二乘解应用于优化方法。Moore-Penrose广义逆可以用于计算最小二乘解,且由于其解不仅使得误差最小,而且解本身范数最小,符合深度神经网络权重范数较小的要求,非常适合应用于深度神经网络的训练中。本文聚焦于深度神经网络的训练策略,包括数据增强,优化算法,模型后处理算法,将Moore-Penrose广义逆引入深度神经网络的训练策略中。具体的研究重点与创新点如下:1)提出一种新的数据增强方法。利用单隐层自编码器的解码权重对来自同一类别的训练样本分布进行拓展;接着,将激活后的解码权重与来自不同类别的原始训练样本进行线性组合,以扩展跨类别的分布。该方法所定义的原始训练样本邻域范围比其他数据增强技术所定义的邻域更大,采用该方法训练的模型可以获得更好的特征,从而提高模型分类准确率。在基于大量数据集和深度神经网络模型的实验中,该方法对模型泛化性能改进显著。2)提出一种模型后处理方法——全连接层权重重计算。采用Moore-Penrose广义逆方法,将深度神经网络的残差反向传递到每个全连接层,计算每个全连接层的理想输出偏差;根据理想输出和输入特征,采用Moore-Penrose广义逆重新计算各全连接层的权重。该方法只重新计算全连接层的权重,不涉及对网络结构修改,因此该方法适用于各类深度神经网络模型。实验结果表明,采用该方法进行后处理后的深度神经网络模型比原始模型具有更好的泛化性能。3)提出一种针对顶层全连接层的优化算法。该方法不由梯度方向主导,而是计算当前权重与最优权重的差,定义为最优补偿。权重更新先沿着最优补偿方向进行,然后采用梯度进行微调。在实验中,和其他优化算法相比,该方法收敛速度更快,且最终收敛损失更低;相应地,该方法所训练的模型与其他优化方法所训练模型相比在分类准确率上有较大优势。此外,从数学上证明了最优补偿以及该优化方法的收敛性。4)提出仅基于最优补偿的无梯度优化算法。该方法采用Moore-Penrose广义逆计算每次训练迭代中的权重更新,采用当前权重与最优权重之间的差,即最优补偿来引导权重更新,不涉及梯度对权重的更新。实验表明,在可训练权重数相同的情况下,与基于梯度的优化方法相比,该算法能够获得更高的测试准确率。此外,该方法可以在采用较高的学习率的同时保证收敛,并且对学习率设置不敏感,使其具有较高的实用价值。5)将所提方法应用于无人驾驶领域任务。将数据增强算法应用于车辆精细分类任务,该算法可以有效降低过拟合,有助于解决无人驾驶应用中训练数据不足问题。将基于最优补偿和梯度结合的优化算法用于车辆精细分类任务,在网络结构不变的情况下大幅度提高分类准确率。将仅基于最优补偿的优化算法用于国内交通标志分类,在迁移学习设置中大幅度提高分类准确率。本文所提算法对无人驾驶系统中深度学习相关应用的性能改进有重大理论和实践意义。