近年来,随着机器人与人工智能领域快速发展,越来越多的领域开始实践智能无人化。智能机器凭借能够在错误率极低的情况下长时间运行的优势,逐渐取代高强度的人力劳动,大大提高工作效率。例如,智能物流仓库的无人化运输可以提高物流运输效率;自动化的无人机巡检可以显著提升巡视效率,减少人力投入;而无人驾驶汽车的推出有望在未来大大缓解城市交通拥堵问题。要构建智能无人化机器,必须融合精密导航、大数据、人工智能、传感技术和云计算等多种技术。值得注意的是,要使无人设备按照预设程序执行任务,精密导航是不可或缺的重要技术之一。目前的无人设备导航技术可分为主动导航与被动导航两类。被动导航主要依赖全球导航卫星系统,是目前应用最广泛的技术。但是在地势复杂的野外场景或楼宇密集地区,卫星信号可能受到干扰而暴露出被动导航的缺陷。此时,主动导航技术可以有效地弥补被动导航的不足。主动导航主要依赖视觉定位技术,即视觉里程计,已有超过30年的研究历史,正处于快速发展阶段,在机器人、混合现实和自动驾驶等领域得到广泛应用。相较于被动导航,视觉里程计可以实时计算传感器自身的运动轨迹并构建三维地图,无须依赖外部定位系统,在未知环境中也能较为准确地工作。可见,视觉里程计技术是无人自主系统的关键技术之一。视觉里程计的基本原理是通过记录一系列连续的图像来追踪相机的运动变化。目前,基于标准相机的视觉里程计是应用最广泛的,然而,标准相机在快速运动和挑战性光照条件下的性能较差,这对基于标准相机的视觉里程计的鲁棒性产生较大的影响。事件相机是一种新型的生物启发式传感器,会在环境亮度发生变化时产生异步事件并记录下来。相较于标准相机,事件相机具有更高的时间分辨率与更广的动态范围,在高速拍摄和具有挑战性的光照条件下具备更强的优势。因此,事件相机可以弥补标准相机的不足,实现更具鲁棒性的视觉里程计。本篇论文的研究目标是融合事件相机与标准相机构建适用更复杂场景的视觉里程计。本文提出了两种端到端的深度学习方法用来融合事件模态和视频模态以实现鲁棒的运动估计。本文的出发点是充分利用两种模态数据的互补性——标准相机拍摄的视频提供丰富的语义信息,事件相机在此基础上解决高速运动模糊和极端光照环境的问题。经过大量的实验验证,结果显示我们提出的DeepEVO模型可以提升位姿估计的准确性,比单独使用视频估计位姿更加精确且适用更多场景。以下三点为本文的创新点:1.本文提出了事件数据处理方法和事件视频数据同步方法,解决了高时间分辨率的事件数据与低时间分辨率的视频数据的同步问题,使得两种模态可以更有效地进行融合。2.本文提出了一种基于通道注意力机制的融合模块,根据融合模块设计了端到端的融合事件和视频的视觉里程计模型。本模型可以自发选择事件和视频哪种模态更适合当下的场景,充分释放事件和视频两种数据源的潜能,让模型适用于更加复杂的场景。3.本文提出了一种利用Transformer实现数据融合的方法,并应用融合模块设计了端到端的视觉里程计模型,可以同时处理事件和视频。融合模块在关注通道注意力的同时关注空间注意力信息,从而实现更深入的跨模态融合。为了获得全局的特征信息,本方法使用Transformer编码器替代了 CNN编码器。