基于无人机视觉的场景感知方法研究

来源 :浙江工业大学 | 被引量 : 3次 | 上传用户:lxlgqm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年米,无人机特别是小型化无人机,在军事和民用两方面都有着越来越广泛的应用。传统利用全球定位系统和惯性系统的导航方法经过几十年的发展,已经能够完成姿态估计,航线规划等任务,但随着任务环境和任务本身变的越来越复杂,基于视觉信息的场景感知成为无人机能够高效安全的执行任务的前提,越来越受到研究人员的关注。  本文主要研究计算机视觉在无人机场景感知应用中的关键技术,利用可见光相机,深度相机和事件相机(Event-based camera)等多种视觉传感器,结合传感器的特点,对场景三维重建,实时深度估计,对象检测定位技术开展研究。  本文主要工作和贡献如下:  1.针对无人机场景三维重建,根据目前无人机图像三维重建的实际需求,对于传统三维重建关键帧方法处理效率低,筛选准则偏启发式,鲁棒性低的问题,提出一种适合航拍图像场景三维重建的分层并行化关键帧筛选技术。该技术同时考虑图像获取,相机姿态估计以及稀疏重建过程。初略筛选快速去除重叠率低、图像质量差的图像,并利用重定位克服运动模糊造成的特征丢失等实际问题。精细筛选能够去除重复帧,保证相机姿态及空间点云的精度。本文方法在实际的室外场景数据集中进行了测试,实验表明,相比于以往的三维重建关键帧方法,本文方法够实时的进行关键帧的筛选,同时提升了三维重建的精度和实际实用中的鲁棒性。  2.针对快速运动场景下的实时深度估计任务,传统图像帧相机的实时性能和光照鲁棒性较弱的问题,本文提出了一种基于事件相机(Event-based Camera)的双目深度估计框架,充分发挥事件相机时间分辨率高,信息冗余低,能够应对复杂的光照环境的特点。算法框架由事件预处理,匹配代价计算,代价优化和深度输出四部分组成。其中代价优化是深度估计的核心,本文提出了两种事件驱动的优化方法,分别基于传统的置信传播(Belief Propagation)和半全局匹配(Semi-global Matching),重新定义了适合事件相机的代价函数和代价优化过程。本文设计实现了双目事件相机系统,采集了不同场景下的双目事件相机数据集。实验表明,与以往的基于事件相机的双目深度估计方法相比,本文方法具有检测精度高,鲁棒性好的优势;和传统可见光相机双目深度估计方法对比,本文方法具有深度一致性好,不受光照和运动模糊影响,同时处理效率高的优点。  3.针对对象的检测和定位任务,传统二维的颜色信息和对象边缘信息不能够很好的解决复杂场景的问题,本文引入三维深度信息来克服单独使用彩色信息的对象检测方法的不足。本文利用三维信息,构造了三种新的局部多模态线索,分别是多模态多尺度显著性(Multimodal multi-scale saliency,MMS)、多模态过分割跨度(Multimodal oversegment straddling,MOS)和深度密度(Ring density of depth,RDD),同时整合深度直方图和Gist描述作为全局线索,用来获得对象的数量和位置。最终将以上局部线索和全局线索表达在统一的贝叶斯模型中。由于使用了多模态线索和全局线索,本文算法在公共数据集的试验中,相比较以往的对象检测和定位算法,即使在抽样较少候选区域的前提下,也能得到较高的精确度和召回率。
其他文献
混合动力汽车能量管理策略是影响混合动力系统性能优劣的主要因素,其目标是协调驱动系统中各个部件的工作状态,合理分配动力电池与发动机的输出功率,实现整车经济性能指标达
全球能源危机和环境危机正促使世界各国寻找可再生新能源以替代石油、煤炭等传统能源,激发了风力发电、太阳能发电等技术的迅猛发展。直流微电网技术作为集成利用分散的可再生
无线电能传输技术的实质泛指一种借助存在于物理空间中的传能介质实现电能以无线的形式由源极传输至受电极的电能供给模式。感应耦合电能传输(ICPT)技术是一种基于高频电磁场
随着现代工业系统向着大型化、集成化和自动化方向迅猛发展,系统的复杂程度也在不断升高,发生系统故障的概率也在不断增加。实时有效的状态监测与故障诊断才是保证现代工业系统安全可靠性的重要手段。近年来状态监测与故障诊断技术的飞速发展,为有效地保证工业系统稳定运行并在预知维护中起到了重要作用。同时,随着数字信号处理技术与嵌入式技术的不断完善,也为状态监测与故障诊断技术的研究注入了新鲜血液。本论文主要进行了基
为整台不同网络实验室优势,提高用户的实验操作体验,浙江大学电工电子网络实验室在C/S/A框架下结合了基于计算机仿真和基于实物对象的两类网络实验室系统,构建了一个高效便捷
柴油机作为最常用的大型机械设备动力源之一,广泛应用于石油钻井、动力发电、铁路牵引、大型挖掘机推土机、航空飞机以及各种船舶等领域,在社会建设中占有极其重要的地位。然而
随着视频数据的快速增长,如何对视频进行有效地管理、存储和检索成为用户十分关注的问题。本文以广告视频为研究对象,对广告视频检索相关技术进行了研究,设计并实现了一个广
粒子滤波能够有效的解决强非线性、非高斯的状态值估计问题,而这些正好是在目标跟踪中所面临的问题。本论文主要围绕粒子滤波及其在目标跟踪中的应用开展相关研究工作,具体的研
煤矿安全监测系统是煤矿实际生产中不可或缺的部分,目前主要的监测对象是环境安全监测和生产工艺监测,对电气设备温度、电缆接头温度的监测通常是煤矿安全监测系统的弱点甚至是