基于深度学习的单目视觉场景感知算法研究

来源 :厦门大学 | 被引量 : 0次 | 上传用户:wlxctq13
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无人驾驶汽车的行驶过程不需要人为干预,在智能城市交通领域具有重要的研究价值。基于单目图像的视觉场景感知是发展无人驾驶汽车自主导航系统的关键技术之一,也是计算机视觉研究领域的热点和难点。随着深度学习理论的发展和计算机硬件设备的进步,卷积神经网络在计算机视觉任务中的应用取得巨大成功,基于深度学习的单目视觉场景感知算法成为最具有发展潜力的技术之一。本文针对单目视觉场景感知算法类标签难以获取的问题,研究基于深度学习的无监督单目图像景深估计、无监督单目视觉里程计以及无监督单目图像光流估计等内容,主要研究内容和创新点如下:1.在没有先验知识的情况下,针对传统算法难以完成单目图像景深估计的问题,提出一种基于深度学习的无监督单目图像景深估计模型。该模型首先在深度残差网络的基础上设计一种新的基于“编码-解码”结构的图像景深估计网络DepthNet。其次,在目标函数的构造过程中,利用双目图像同名点对应像素平移量大小相同的特点,设计一种视差一致性损失函数,以提高模型的计算精度。在实验中,通过在KITTI数据集上的多组消融实验与对比实验验证DepthNet的有效性,并且在KITTI数据集和Cityscapes数据集上验证了 DepthNet的景深估计精度超过目前流行的无监督景深估计模型,同时超过了部分有监督景深估计模型。2.针对基于特征的视觉里程计仅适用于特征丰富的场景,且需要多步骤处理(特征提取、描述、匹配,光束平差)过程,提出一种基于深度学习的无监督视觉里程计。该模型建立了单目图像序列与相机位姿矩阵之间的映射关系,对应用场景没有任何要求。在训练过程中,对相机位姿估计网络MotionNet和DepthNet建立相互耦合关系。在测试过程中,以单目图像序列为输入,通过MotionNet直接获取图像对应的相机空间位置与姿态信息,构成一个“编码”结构。在KITTI Odometry数据集上的短时图像序列精度对比实验、相机全局运动轨迹对比实验、计算时间对比实验等多种仿真实验中,本文分析了基于特征的视觉里程计和基于深度学习的视觉里程计之间的异同,指出深度学习模型的不足和发展前景。3.针对“亮度不变性”和“光流平滑性”等条件在真实场景中难以满足的问题,提出一种基于深度学习的无监督单目图像光流估计模型。该模型首先设计一种光流估计网络FlowNet,该网络与DepthNet具有相似的网络结构,是一个“编码-解码”结构网络。其次,利用图像序列中前、后图像光流一致性原理,设计一种基于光流的重建图像一致性损失函数,以提高模型计算精度。最后,由场景深度图像和相机位姿矩阵计算静态场景光流信息,并在此基础上完成FlowNet的训练,计算出静态场景和动态目标的光流。在KITTI Flow数据集上的消融实验和大量的对比实验表明,图像一致性损失函数和静态场景光流信息均提高了光流估计模型的计算精度。4.针对现有的景深估计模型和视觉里程计在图像重建过程中不区分处理图像重叠和非重叠区域的问题,提出一种基于深度学习的无监督单目静态场景自适应运动估计模型。该模型利首先用图像全局亮度和局部亮度之间的差异设计一种自适应函数,用于判断图像像素是否属于重叠区域。然后,在目标函数的构造过程中,将自适应函数作为权重因子,修正图像重建结果。在KITTI数据集上的对比实验结果表明,该模型提出的自适应函数有效降低了非重叠区域对静态场景运动估计模型产生的不利影响。
其他文献
目的以生脉注射液(SMI)和青霉素注射液为代表,通过过敏样反应性质、花生四烯酸(AA)代谢通路及RhoA/ROCK信号通路激活机制等研究,揭示中西药注射剂过敏样反应的共性特点和发生机制,阐明有效防治注射剂类过敏反应的关键靶标及途径,为注射剂的过敏样反应防治和临床用药安全提供科学基础。方法1.SMI和青霉素注射液(主要致敏物质)的过敏样反应特点研究采用全身主动过敏试验、被动皮肤过敏试验、类过敏试验,
学位
液晶(Liquid crystal,LC)具备卓越的自适应特性和可加工性,是发展潜力巨大的智能软材料。与传统的中性液晶相比,离子液晶(Ionic liquid crystal,ILC)是一种仅由阳离子和阴离子组成的极具吸引力的液晶材料,它融合了液晶和离子液体(Ionic liquid,IL)的优良性质,具有成分组成灵活、性质易于调控等优点。目前,通过离子自组装策略,利用表面活性剂与特定基元可开发新
学位
变频器因具有调速方便、保护功能齐全、节能等优点而在化工企业中得到广泛应用,但变频器在运行中由于过流而导致的跳闸故障时有发生。对引起变频器过流跳闸的原因进行分析,并提出解决方法。
期刊
城市居民建筑空间利用率高,适用于高密度城市化地区,是我国城市的主要建筑形式之一。城市居民建筑具有独特的用能模式,一方面,城市居民建筑具有较高的用能密度而集成可再生能源的潜力不足,因此,其低碳转型尤为困难,也是我国实现“2030碳达峰、2060碳中和”战略目标所面临的重要挑战。另一方面,城市居民建筑的不确定性多能需求往往具有明显的峰谷效应,进一步增大了能源系统的局部供需矛盾,给城市电网的稳定性带来了
学位
研究背景:慢性阻塞性肺病是一种以不可逆的气流受限为主要特点的常见慢性病,主要表现为,主要表现包括慢性支气管炎和肺气肿。小气道是慢阻肺的主要病变部位,其发病机制尚未完全阐明,主要集中在炎症,氧化应激及蛋白酶-抗蛋白酶失衡等方面,目前慢阻肺治疗手段有限,主要以延缓疾病发展进程为主。NAPDH氧化酶是内源性ROS重要的来源之一,在人体多种组织上表达,但是目前关于NAPDH氧化酶是否参与急性吸烟引起的氧化
学位
心律失常严重危害人类身体健康,是当今世界最重要的公共卫生问题之一。心肌细胞膜上离子通道的结构及功能改变与心律失常的发生发展关系密切。近年发现,离子通道是药物或化合物的重要靶点,抗肿瘤药物相关性心律失常十分常见。本博士课题第一部分研究选取Clemizole、Belinostat、Pazopanib和Bevacizumab四种抗肿瘤药物作为研究对象,探讨上述药物引起QT间期延长的离子通道机制。氧化应激
学位
第一部分口腔菌群与放射性口腔黏膜炎的关系研究背景和目的头颈部恶性肿瘤的发病率正在上升,放射治疗是头颈部肿瘤(HNC)的主要方式之一,放射性口腔黏膜炎是HNC患者放射治疗期间或之后最常见同时也是限制放射治疗剂量的早期口腔毒性反应。口腔菌群与口腔黏膜炎之间有潜在的相互作用,目前的研究致力于用一些干预措施来改变口腔菌群的存在或组成,以降低口腔黏膜炎的发病率和严重性,但到目前为止还没有建立明确的指南指导临
学位
糖类具有很多重要的生物学作用,比如作为细胞的结构组分、细胞间相互作用、介导和调控细胞黏附等。常用的糖类化合物合成方法主要有化学法和酶法。采用化学法合成糖链,为了控制构型和区域选择性,需要采用多步的保护和去保护步骤。相比较而言,酶法合成糖类化合物由于酶本身的性质从而具有较强的立体选择性和区域选择性。在酶法合成糖类化合物的过程中,糖基转移酶和糖苷水解酶被广泛应用。糖基转移酶具有严格的立体选择性和区域选
学位
研究背景产科抗磷脂综合征(obstetric antiphospholipid syndrome,OAPS)是由抗磷脂抗体(antiphospholipid antibodies,aPLs)介导,以复发性流产、重度子痫前期和胎儿生长受限等胎盘源性病理妊娠为主要临床特征,伴或不伴血栓形成的系统性自身免疫性疾病,严重威胁孕产妇的健康。根据2006年悉尼抗磷脂综合征诊断标准,将OAPS病理妊娠的范围进行
学位
黏细菌(myxobacteria)被认为是最有前途的天然产物生产者之一,具有在农业、生物医学和环境保护中广泛应用的潜力。在系统进化上,黏细菌对应Delta变形菌纲(Deltaproteobacteria)的黏细菌目(Myxococcales),是一类能够滑行运动的革兰氏阴性杆菌,新的分类标准已将其归为黏细菌门(Myxococcota)。黏细菌具有复杂的多细胞群体行为和生活史,如细胞生长的密度依赖、
学位