同时定位与建图（Simultaneous Localization and Mapping,SLAM）,是智能移动机器人以及自动驾驶等领域的重要的基础模块。然而,如何兼顾高精度、鲁棒性、实时性、低成本等多目标,一直是学术界与工业界关注的重点。尽管基于视觉的SLAM系统具有体积小、成本低、硬件设置简单等优势,然而其通常存在传统相机视场较小以及基于针孔相机模型的图像去畸变后导致有效视角更窄等问题,进而导致系统的鲁棒性不高,尤其在具有挑战性的场景中。相机与惯性测量单元（Inertial Measurement Unit,IMU）融合而成的视觉惯性SLAM能提高系统的鲁棒性,然而,其在标准配置下大都面临实时性问题,特别是如何在保证一定精度时提高系统的实时性。鉴于此,为了进一步提高视觉图像的有效视角,兼顾系统的定位精度、鲁棒性、实时性,本文将对双目鱼眼相机模型向视觉SLAM系统的融入,双目鱼眼相机和IMU的融合,VINS-Fisheye的设计、实现和测试进行系统的研究。首先,为了提高图像的有效视角以提升特征追踪的效果,本文将双目鱼眼模型融合到视觉SLAM系统中,设计构建了一种基于双目鱼眼相机模型的视觉SLAM系统。图像特征可以在大视场中被更好的检测与追踪,提高了系统的鲁棒性。为了使相机模型更好的适配于系统,本文首先推导了球面图像视觉在SLAM系统中的各类定义及其计算,然后将其融合到基于滑动窗口的视觉SLAM框架中。同时,基于多个数据集的实验测试与分析初步验证了该系统的可行性。其次,为了进一步提高系统在挑战性场景中的鲁棒性并在保证精度的同时提高实时性,本文将双目鱼眼视觉SLAM系统与IMU进行紧耦合,提出了一种基于双目鱼眼相机与IMU融合的视觉惯性SLAM系统——VINS-Fisheye。系统将IMU数据进行预积分并与视觉信息对齐,并可以进行在线初始化。此外,本文在初始化阶段提出了一种特征分级策略,而且最大化利用了传感器的信息,可以有效减少初始化时的外点,大大提高了后端优化的稳定性。推导并构造了优化的统一目标函数,并对滑动窗口边缘化进行了改进,最后基于优化方法输出系统准确的位姿。最后,基于VINS-Fisheye搭建了一套软硬件系统,并在公开数据集与真实环境中对系统进行了测试。实验结果表明系统在多个具有挑战性的场景中均具有良好的追踪效果、定位精度和实时性,充分证明了VINS-Fisheye系统的有效性和可行性。