面向汽车自动驾驶的模拟图像生成技术及应用研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:mkunaini520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自动驾驶是汽车技术发展的主要方向,而以深度学习为代表、基于数据驱动的目标检测算法是自动驾驶感知系统的重要组成部分,在汽车自动驾驶领域取得了重要进展。使用车载相机采集的图像数据已经被广泛应用于基于深度学习方法的模型训练和目标检测,但也面临着一些问题:一方面,基于深度学习的目标检测方法依赖大量带有语义标签的数据。大量的图像数据采集不仅成本高昂、采集过程的安全性难以保障。而且,图像数据的人工标注也十分繁琐,不仅成本高、而且精度难以保障。这都严重制约着基于深度学习方法的自动驾驶感知算法的快速发展。另一方面,图像的观察角度或主体从人类变成了深度学习模型,深度学习方法的一个局限性是可解释性不强,因此如何针对深度学习模型对图像数据的需要进行图像采集系统的设计值得深入研究。近年来图像模拟技术日益成为了解决上述问题的有效手段:利用计算机模拟生成图像有其高效、安全和可自动完成像素级别精准标注等优势,可大幅减少路采数据成本高、安全难以保障、人工标注精度难以保障等诸多问题;另一方面,图像模拟可针对深度学习算法对图像数据的特征需求进行设计和优化。然而,现有的图像模拟技术还难以解决上述问题:1)目前主流的图像模拟技术还是以提升人类视觉系统感知效果为主,并不是以真实表达图像物理特性为目标,因此难以对图像的物理属性进行量化分析和提供有物理含义的参数;2)目前使用模拟图像作为训练集的深度学习模型在检测性能上仍与使用真实图像数据训练的模型有明显差距,如何提升模拟图像数据集的模型训练效果及感知性能仍是一个有待解决的问题。针对上述问题,本文主要开展了相应的研究并取得了以下几方面的研究成果:(1)提出了高物理真实度且可量化的图像模拟方法。本文采用了光线追踪的方式模拟了光子在场景中从光源发出到被相机传感器接收的过程:光子经过物体反射,相机光学模组的透射,抵达相机传感器表面的传播过程,同时模拟了光子在相机传感器成像的过程,包括光电转换,色彩滤波,光子噪声,器件噪声,模数转换,去马赛克及图像后处理的过程。本文使用有明确物理意义的参数控制从光子到图像的转换过程,并通过实验分别验证了模拟图像低阶特征(low-level feature)的物理准确性和高阶特征(highlevel feature)在深度学习模型上的有效性。该方法可同时满足面向深度学习方法的定量分析和参数化生成图像集的需求。(2)构建和开源了一个面向汽车自动驾驶的模拟图像集生成平台,以满足高逼真度场景构建和规模化生成图像集的需求。平台采用了德国航空航天中心开发的交通流仿真软件SUMO(Simulation of Urban Mobility)对场景中的交通参与物体(车辆,行人等)进行参数化控制,同时提出了SUSO(Simulation of Stationary Objects)的方法自动化地配置场景中的非交通对象(树木,楼房等)。针对高质量图像集生成对计算平台算力和存储空间的要求,本文采用容器编排平台Kubernetes规模化地使用云端的计算集群生成图像,对三维素材采用云数据库Flywheel进行高效地存储和管理。该方法为模拟图像集的生成、参数配置和深度学习模型的训练验证提供了高效手段。(3)提出了自动驾驶目标检测任务的图像质量评价标准:OD50(Object Distance at50%average precision—在平均精度为50%下的物体距离)。针对传统面向人类视觉系统的质量评价标准(MTF50和SNR)难以满足自动驾驶感知测试要求等问题,本文提出的OD50在平均精度(AP)的基础上增加了目标距离的维度(AP,Z),更适用于自动驾驶的感知测试需求。针对深度学习算法可解释性差的问题,本文利用OD50评价标准和模拟图像集生成平台,进一步深入分析了相机成像的关键要素包括像素大小,色彩滤波阵列,传感器曝光算法和后处理算法等对深度学习算法的影响发现:对深度学习算法,成像过程影响较大的是曝光算法,而通常人类视觉系统更敏感的图像后处理算法对深度学习算法的检测准确性没有显著影响。(4)提高了模拟图像集到真实图像集上的泛化性能,解决了过去使用模拟图像训练的深度学习模型在真实场景中目标检测准确率不高的问题。通过深入研究基于深度学习算法在模拟和真实图像集之间训练测试的差距发现,在自动驾驶应用中,影响模拟图像集泛化性能的关键指标是:样本多样性、数据域差距,场景渲染质量和相机参数匹配等。最后,本文在泛化关键性指标的指导下生成了ISETAuto模拟图像集,并开展了基于深度学习的目标检测算法的模型训练,采用了自动驾驶常用的真实图像集KITTI和Cityscape对训练后的模型进行了测试,与目前具有领先水平的模拟图像集相比,本文提出的ISETAuto模拟图像集其检测结果的平均准确率分别提升了13%和40%,与真实图像集之间的泛化性能水平接近;因此本文提出的模拟图像生成技术可用于深度学习模型的训练,减少深度学习算法对大量真实路采图像的需求,对于加快汽车自动驾驶感知算法的研发具有重要意义。
其他文献
车辆行驶过程中,驾驶员需要通过视觉获取90~99%的路况信息,清晰的视野是保障驾驶安全性和舒适性的必要条件。降雨工况下,雨水积聚在侧窗和外视镜表面形成水膜、溪流或者水滴,折射和阻挡光线,使驾驶员视野模糊,增加交通隐患。因此,准确预测汽车在风雨环境中行驶时的侧窗水相分布,对水污染程度进行合理的评价;分析不同行驶环境下的变化规律,并开展优化设计以提高视野的清晰度,具有重要意义。然而现阶段汽车空气动力学
随着社会经济水平的提高、人们出行需求的迅速增长,持续上升的汽车数量导致了城市交通拥堵日益严重、能耗攀升、交通事故频发。如何防止交通拥堵、降低耗能、提高车辆行驶安全性是人们日臻重视的重要课题。汽车作为主要交通运载工具肩负着巨大的责任以改善当下交通系统严重的能源耗费、拥堵和安全等问题,因此在技术层面对车辆的生态性进行改进与完善是解决上述问题的重中之重。在此背景下,不断推动汽车安全、节能、高效的智能生态
汽车高速行驶时,风噪是影响舒适性的重要指标,而风噪仿真优化是车型开发前期的必要手段。由于风噪声传播过程复杂,以往基于车窗压力脉动仿真进行了大量的汽车风噪优化工作,而侧窗压力脉动中占主要能量贡献的水动压车窗透过效率远低于声压,导致车窗平均压力脉动难以反映车内乘员人耳风噪感受的正确变化趋势;且由于人耳构造和心理声学的影响,单纯以总声压级为指标不能反映乘员人耳的真实感受,难以应用于风噪优化。因此,本文基
轮胎作为汽车与路面接触的唯一部件,其力学特性直接影响汽车的动力性、操纵稳定性、乘车舒适性、安全性及燃油经济性等性能。汽车轮胎稳态滚动阻力作为轮胎力学特性之一,对汽车的燃油经济性、轮胎使用寿命、驱动制动及汽车操纵性能具有重要的影响,也是轮胎结构设计中的重点研究课题。目前,汽车轮胎稳态滚动阻力的研究主要是以室内台架实验为主,道路实验为辅,其实验方法仍依赖于大型进口实验装置和在标准工况下的分析,而轮胎滚
在汽车轻量化的背景下,铝合金由于具有密度小、比强度高、耐腐蚀等的特点在汽车领域中的应用越来越广泛。而铝合金板材室温成形性较差,温成形技术可以提高金属材料的成形性且成形回弹小、精度高,可用于生产复杂车身零部件。铝合金板材在生产中由于轧制工艺等原因普遍存在各向异性。各向异性的存在使板材在复杂应力状态下变形路径明显区别于各向同性材料,导致各向同性的本构模型仿真预测的失效极限不可靠。同时,温成形过程会导致
随着经济的飞速发展,中国的商用车行业也在蓬勃发展。商用车具有质量大、质心高、体积大等特点,在紧急行驶工况下,车辆容易发生失稳,对车辆的行驶安全性带来巨大的隐患。气压电子制动主动安全控制系统,可以在紧急行驶工况下有效的改善车辆的行驶状态,提高车辆的行驶安全性。因此,基于商用车气压电子制动系统(EBS,Electronic Braking System)对商用车主动安全制动控制进行研究具有重要意义。本
全地形铰接式履带车辆被广泛应用于物资运输、抢险救灾、森林消防等众多领域。本文所研究的全地形铰接式履带车,履带为橡胶履带与刚性履刺通过螺栓连接而成,即刚柔耦合式履带。且履带系统的负重轮为非充气轮胎,本身具有弹性,驱动轮与诱导轮附有尼龙材料,没有托链轮。此外,采用扭杆弹簧独立悬架。因此现有的分析传统履带车辆的方法不能直接用于分析该类型全地形铰接式履带车辆。本文基于该类型行走系统的全地形铰接式履带车辆,
悬架系统实质是由质量-阻尼-弹簧系统组成的衰减地面振动、传递车身与车轮之间力并能保证汽车平稳行驶的多体机械系统。在研究汽车平顺性时,四分之一车悬架可以在一定条件下简化成二自由度机械振动系统。含有质量-阻尼-弹簧的机械系统通过与电气系统比拟,表现出的响应特性称为机械阻抗特性。悬架作为典型的机械系统在路面激励下也表现出一定的阻抗特性,阻抗特性属于系统的固有属性,在频域的范围内反映了悬架的激励力与运动学
全断面隧道掘进机(TBM)具有掘进速度快、安全性高、劳动强度低、施工质量好以及环保等优点,在交通、市政、水电、矿产、民防等隧道工程中被广泛使用。随着我国基础建设投入的不断加大,隧道及地下空间建设的发展不断加快,对TBM的需求也不断增大。盘形滚刀作为TBM的核心部件,在掘进施工过程中直接接触并破碎硬岩,其服役工况十分恶劣,导致盘形滚刀的消耗十分巨大,进而影响施工的效率和成本,成为制约整体施工质量和进
跨介质飞行器是一种可在水和空气两种介质间自由穿行的新概念两栖无人运动平台,具有重要的军事和民事应用前景。跨介质飞行器的研制需要解决空中巡航、入水、水下潜行以及出水四种运动模式下所涉及的关键技术,其中,跨介质飞行器入水过程经受的较大冲击载荷极易造成机体结构损坏、内部元器件失灵以及弹道失稳等一系列问题,研究跨介质飞行器应以何种流体动力构型及采取何种入水方式减小飞行器入水冲击载荷,对提高跨介质飞行器入水