论文部分内容阅读
近年米,无人机特别是小型化无人机,在军事和民用两方面都有着越来越广泛的应用。传统利用全球定位系统和惯性系统的导航方法经过几十年的发展,已经能够完成姿态估计,航线规划等任务,但随着任务环境和任务本身变的越来越复杂,基于视觉信息的场景感知成为无人机能够高效安全的执行任务的前提,越来越受到研究人员的关注。 本文主要研究计算机视觉在无人机场景感知应用中的关键技术,利用可见光相机,深度相机和事件相机(Event-based camera)等多种视觉传感器,结合传感器的特点,对场景三维重建,实时深度估计,对象检测定位技术开展研究。 本文主要工作和贡献如下: 1.针对无人机场景三维重建,根据目前无人机图像三维重建的实际需求,对于传统三维重建关键帧方法处理效率低,筛选准则偏启发式,鲁棒性低的问题,提出一种适合航拍图像场景三维重建的分层并行化关键帧筛选技术。该技术同时考虑图像获取,相机姿态估计以及稀疏重建过程。初略筛选快速去除重叠率低、图像质量差的图像,并利用重定位克服运动模糊造成的特征丢失等实际问题。精细筛选能够去除重复帧,保证相机姿态及空间点云的精度。本文方法在实际的室外场景数据集中进行了测试,实验表明,相比于以往的三维重建关键帧方法,本文方法够实时的进行关键帧的筛选,同时提升了三维重建的精度和实际实用中的鲁棒性。 2.针对快速运动场景下的实时深度估计任务,传统图像帧相机的实时性能和光照鲁棒性较弱的问题,本文提出了一种基于事件相机(Event-based Camera)的双目深度估计框架,充分发挥事件相机时间分辨率高,信息冗余低,能够应对复杂的光照环境的特点。算法框架由事件预处理,匹配代价计算,代价优化和深度输出四部分组成。其中代价优化是深度估计的核心,本文提出了两种事件驱动的优化方法,分别基于传统的置信传播(Belief Propagation)和半全局匹配(Semi-global Matching),重新定义了适合事件相机的代价函数和代价优化过程。本文设计实现了双目事件相机系统,采集了不同场景下的双目事件相机数据集。实验表明,与以往的基于事件相机的双目深度估计方法相比,本文方法具有检测精度高,鲁棒性好的优势;和传统可见光相机双目深度估计方法对比,本文方法具有深度一致性好,不受光照和运动模糊影响,同时处理效率高的优点。 3.针对对象的检测和定位任务,传统二维的颜色信息和对象边缘信息不能够很好的解决复杂场景的问题,本文引入三维深度信息来克服单独使用彩色信息的对象检测方法的不足。本文利用三维信息,构造了三种新的局部多模态线索,分别是多模态多尺度显著性(Multimodal multi-scale saliency,MMS)、多模态过分割跨度(Multimodal oversegment straddling,MOS)和深度密度(Ring density of depth,RDD),同时整合深度直方图和Gist描述作为全局线索,用来获得对象的数量和位置。最终将以上局部线索和全局线索表达在统一的贝叶斯模型中。由于使用了多模态线索和全局线索,本文算法在公共数据集的试验中,相比较以往的对象检测和定位算法,即使在抽样较少候选区域的前提下,也能得到较高的精确度和召回率。