基于多传感融合的智能汽车驾驶场景理解与建模研究

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:turbomeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
智能汽车周边环境的准确、高效感知是实现高等级自动驾驶的必要前提,是车辆智能化程度的集中体现,也是当前智能汽车领域备受关注的重要课题之一。结构繁多的道路与类型多样、行为不确定的动静态交通要素共同构成了既规则又多变的驾驶环境。为了满足智能汽车高实时性动态决策规划的需求,有必要面向具有高度多样性、不确定性的局部驾驶环境,研究基于动、静态要素解耦感知的高效、准确的环境综合理解与层次化表达方法。针对驾驶环境理解和建模过程中环境要素复杂遮挡关系所导致的模型欠表达和要素间语义关联关系缺失等问题,以实现冗余和增强的局部驾驶场景综合理解为目标,基于深度学习方法构建了包含道路栅格地图、道路高度栅格地图和动静态语义栅格地图的多层次局部驾驶场景模型。本文的主要研究内容如下:(1)针对局部驾驶环境模型构建所需训练数据缺失、手工标注效率低的问题,研究了基于公开数据集的半自动化训练数据生成方法。首先,以KITTI语义分割公开数据集为基础扩展了无遮挡道路分割标签,构建了用于道路栅格地图模型训练和测试的无遮挡道路分割数据集;其次,提出了利用多帧聚合和图像配准在Semantic KITTI公开数据集上构建多任务道路感知数据集的方法;最后,提出了利用多帧聚合和密度聚类在Semantic KITTI公开数据集上构建语义栅格地图数据集的方法。所提出的方法和构建的数据集为相关研究提供了数据基础,有效利用了现有公开数据集的标注成果,拓展了其任务维度。(2)针对基于视觉图像构建道路栅格地图过程中由遮挡导致的表达缺失问题,研究了基于无遮挡道路分割构建道路栅格地图的方法。首先构建了基于深度卷积神经网络的无遮挡道路分割任务模型,以解决道路被路面目标遮挡的问题,实现图像透视视角下的完整道路检测,并在(1)中构建的无遮挡道路分割数据集上对模型进行训练和测试。实验结果表明,所提出的模型能有效地学习驾驶场景中的遮挡机制,在所构建的数据集上获得了93.2%的精确率。在此基础上,对透视视角下的无遮挡道路检测结果进行逆透视变换,构建俯视视角下的道路栅格地图,获得了适用于智能汽车规划控制环节的完整道路区域表达。(3)针对道路感知的全面性、准确性和实时性等需求,研究了基于激光雷达点云的多任务道路感知方法。为了同时获取完整道路区域、道路高度和道路类型等信息,基于卷积神经网络构建了级联共享、轻量级的多任务道路感知模型,实现了无遮挡道路分割、道路高度估计和道路类型识别等多任务的联合学习。所提出的方法在不同层面实现了对道路的理解,涵盖了从具体到抽象的道路表示,对起伏道路具有更强的适应性。在(1)中构建的多任务道路感知数据集上的训练和测试实验结果表明,在无遮挡道路分割任务取得了96.8%的准确率,道路高度估计任务上的L1误差为6.0cm,道路类型识别任务上的平均交并比指标为73.6%。所提出的多任务联合学习架构与已有相关研究相比,具有高效性、实时性和灵活性的特点,实车应用价值更高。(4)针对复杂驾驶场景建模中环境要素的语义关联关系缺失的问题,研究了激光雷达和摄像头融合的动、静态语义栅格地图构建方法。提出了前期融合与中期融合的端到端卷积神经网络模型,在数据与特征两个层面建立了多模态感知信息的互补与增强机制。在前期融合阶段,对点云和图像进行逐点特征匹配与特征变换,进而实现特征组合。在中期融合阶段,针对激光雷达点云特征稀疏性的问题,基于候选单元格估计结果进行多尺度图像特征的逐单元格融合。在(1)中所构建的语义栅格地图数据集上进行了模型的训练和测试,实验结果表明,融合方法比基础对照模型在动、静态语义栅格地图构建任务上分别提升了2.3%和1.2%。所提出的方法能够有效地利用多模态感知信息实现动静态要素分离的语义栅格地图构建,实现对局部驾驶场景的高效和准确表达。在上述研究的基础上,本文通过证据推理方法对所构建的局部驾驶场景分层模型进行融合和优化,利用所构建的智能汽车研究平台进行数据采集,在封闭园区、城区道路和快速公路等典型驾驶场景进行了测试,实验结果表明,所提出的方法能在多种类型的驾驶场景实现冗余和增强的局部驾驶场景综合理解。
其他文献
目的:DNA损伤是椎间盘退行性变的重要危险因素。在本研究中,我们试图揭示FOXO6和RAD51对椎间盘退行性改变的髓核(nucleus pulposus,NP)细胞DNA损伤修复的影响。以及通过逆向网络药理学研究寻找髓核细胞DNA损伤修复的潜在药物。方法:第一部分我们针对FOXO6与RAD51的表达关系进行研究。我们收集了不同退变程度的人髓核组织,检测了Ⅱ型胶原、FOXO6和RAD51的表达。并从
城乡经济不平衡由来已久,我国城乡经济不平衡更有所不同,并在不同经济体制和时代条件下积重而行。究其根本,在于城乡生产力结构布局的不均衡,深层次原因则是城乡生产关系的制度安排多有失衡,现实中则表现为城乡治理体制机制的不平衡。对于城乡经济不平衡的内涵,马克思主义城乡思想有其科学的阐释:城乡经济不平衡是指一定社会生产力水平和制度条件下,城乡在生产、分配、交换和消费方面的对立。随着我国进入新发展阶段,经济社
稀土掺杂的上转换纳米材料可以将吸收的低能光子转化成高能光子发射,由于具有这种特殊的反斯托克斯性质使其在生物成像、荧光防伪、荧光传感等领域有着广阔的应用前景。近年来,上转换纳米材料中发现的上转换发光反常热增强现象,因其可以弥补传统荧光温度传感技术在高温段荧光猝灭的短板以及在荧光防伪中表现出的优势引起了人们的广泛关注。然而目前上转换发光热增强的机理仍众说纷纭,导致缺乏对上转换发光热增强有效调制的方法,
目的:本研究通过建立大鼠颈总动脉球囊损伤术后动脉粥样硬化(AS)模型,模拟临床中PTCA术后再狭窄(RS),观察豁痰解毒通络饮对球囊损伤术后AS模型的干预作用,探究痰解毒通络饮是否通过内质网应激(ERS)-自噬信号通路抑制动脉粥样硬化的形成。方法:5周龄SPF级雄性Sprague-Dawley大鼠40只,随机分为4组,每组10只,分别为假手术组、球囊损伤组、豁痰解毒通络饮组、阿托伐他汀组。使用2F
建设教育强国是中华民族伟大复兴的基础工程,优先发展教育事业是保障和改善民生的关键途径。民族地区基础教育作为我国教育系统的重要组成部分,不仅是民族地区个体进入高等教育学校学习的基石,还是民族地区经济实现高质量发展的动力源泉。提升民族地区基础教育质量,能够为全国及民族地区培养德智体美劳全面发展的社会主义建设者和接班人。教育作为西部大开发综合项目的重点工程,自西部大开发以来,民族地区的基础教育取得了较大
相变材料可在相变过程中以几乎不变的温度来储存或释放大量热能,被认为是解决热能储存问题和缓解能源危机的关键材料。目前,先进热能储存行业对高潜热、易制备、可3D打印、柔性化和多功能化的相变材料存在迫切需求。相对于相变胶囊及多孔骨架基相变材料,聚合物基相变材料,包括聚合物基固-固相变材料和定型相变材料,由于分子网络可设计性强、成本低、可降解/回收、可形变和可复合等优点而备受关注。现有的聚合物基相变材料主
线性调频信号作为典型的非平稳信号,在地球物理学、生物医学、通信、雷达、声呐等许多领域有着广泛的应用,尤其在电子对抗领域,线性调频信号作为一种典型的脉冲压缩信号,在各种体制的雷达、声呐等装备中占据重要的地位,准确获取线性调频信号的参数,是侦察接收系统的重要任务,因此实现非协作或先验信息有限条件下的线性调频信号的参数估计,具有重要的理论研究意义和工程应用价值。调频类信号参数估计技术作为信号处理领域研究
自然界中存在众多超疏水现象,而荷叶表面作为最典型的超疏水表面,具有“出淤泥而不染”的自清洁特性。荷叶等其他超疏水表面存在众多微纳米结构,这些微纳米结构是材料表面具备超疏水性能的重要因素之一。利用不同材料加工技术(如溶胶-凝胶法、静电纺丝法、电沉积法、压印成型法、激光加工法等)在材料基底构建微纳米结构并结合化学修饰制备超疏水表面是现如今国内外的研究热点。超疏水表面对水滴的特殊润湿性使其在自清洁、防腐
中红外激光在国防、激光手术、材料加工和光谱学等许多领域有着重要的应用。生物组织、有机化合物和聚合物等大量物质在中红外波段都有着强烈的吸收。尤其是在3-5μm波段的激光,因为有大气透射窗口的存在,在通信、光电对抗和遥感等应用上具有独特的优势。近年来,中红外氟化物光纤激光器迅速发展,凭借其光束质量高、体积小、转换效率高、散热效果好等优点而广受关注。氟化物光纤激光器是一种极具竞争力的中红外激光光源。本文
定量相位成像技术是实现目标结构三维测量的重要手段,在生物医学工程与工业器件制造等高新技术产业领域中具有广阔的发展前景。相干数字全息技术是实现定量相位成像功能的主要方法之一,借助数字聚焦能力,其理论上可在相同的测量范围、横向采样和测量时间情况下,达到更高的深度测量精度,但在实际应用中零阶衍射与孪生像、非共路背景干扰等问题限制了其达到理论的测量精度。针对上述问题,本文采用焦面分割偏振同步相移同轴全息方