近年来,基于视觉的位姿估计受到了越来越多的关注,其中大部分工作都是针对可见光波段的图像进行的。然而可见光相机只能在良好的光照条件下才能得到丰富的纹理并进行良好的自运动估计。在自动驾驶、消防救灾等领域,都较容易出现光照恶劣的情况,从而严重影响位姿估计系统的鲁棒性及准确性。而长波红外相机不需要任何外部光源,可测量完全不受可见光影响的长波红外波段信息,其成像主要和物体温度相关,并被广泛地应用在安防消防等领域。因此,基于可见光及红外多光谱融合的位姿估计系统展现出了重要的研究及应用价值。但由于信息源波段不同,可见光的梯度源自色彩纹理的变化,而长波红外监测温度的梯度,它们之间的特征很难得到准确的关联,所以传统的基于特征匹配的双目位姿估计无法有效地应用在多光谱场景中。基于直接法的位姿估计不依赖特征匹配,而是直接基于像素的光度误差进行位姿和点云的优化,但直接法的前提是光度一致性假设,异源的可见光和红外的光度范围差异较大,不能进行多光谱的直接法优化。此外,直接法基于像素梯度而不是鲁棒的特征点进行优化,所以对优化的位姿初值和点云深度的估计精度都更严苛。本文结合多光谱传感器的特性和直接法的优势,提出了一种基于深度预测的多光谱双目位姿估计系统,主要研究内容和创新点包括:第一,对多光谱传感器的联合标定及同步进行细致处理。提出了基于金属混合材质棋盘格的可见光及红外标定方法,使用RGB-D传感器提供深度预测训练集,并通过硬件触发得到时间同步的多光谱数据。第二,针对可见光和红外无法特征匹配且光度不一致的问题,提出了基于直接法的特殊误差方程。该误差方程不依赖特征匹配,误差直接产生在可见光或红外传感器各自不同时序帧之间,且通过提前标定的外参引入几何基线约束,以在优化过程中恢复真实尺度并抑制尺度漂移。基于此误差方程,提出了包括初始化、位姿跟踪和滑动窗口优化的多光谱双目位姿估计系统。第三,针对直接法对优化初值要求高、对深度敏感的问题,提出了将单目深度预测值作为各模块优化初值的位姿估计方案,提供深度先验并进一步抑制尺度漂移,该方案显著提升了系统的精度和鲁棒性。