同步定位与地图构建（Simultaneous Localization and Mapping,SLAM）是机器人领域的重要研究问题,实现了机器人搭载相机和激光雷达等传感器,在未知环境中对自身定位同时构建地图的任务。近年来,随着增强现实和自动驾驶等应用的兴起,视觉SLAM（Visual SLAM,v-SLAM）研究受到了广泛的关注。其中单目SLAM仅以图像作为主要感知信息源,基于多视几何理论估计相机位姿和构建3D场景。直接单目SLAM方法通过最小化光度误差估计相机位姿,由于不受特征的限制,对场景纹理缺失和相机抖动等具有更强的鲁棒性。但由于灰度不变假设,容易受到图像噪声、光照、遮挡以及动态物体等的影响,导致帧间匹配误差的存在,从而降低定位及重建精度。同时,直接SLAM缺少关联图像帧间稀疏特征点的准确匹配,相比于可以实现集束调整优化的特征SLAM方法,无法保证帧间运动估计精度。融合传统机器学习和深度学习方法可以提高SLAM中深度和位姿等三维几何估计的准确度,一方面提升了像素级运动的预测能力,另一方面实现了相比于帧间几何匹配及优化求解更加简单的定位方式。但现有学习方法在泛化能力和鲁棒性方面仍存在缺陷,融合主流学习方法提高直接单目SLAM的定位精度有待进一步研究。为保证实时性,直接SLAM采用前端进行帧间运动估计,也称为视觉里程计（Visual Odometry,VO）,同时后端进行优化以及建图的双线程方式。作为SLAM后端的重要组成部分,利用传统图像特征检索为闭环检测和重定位提供候选集,其准确性难以保证。同一地点表观变化的多样性,不同地点表观的相似性,为完全依赖于图像本身特征提取及相似度计算的视觉定位带来了巨大挑战。因此,如何在视觉定位任务中利用深度特征的表达能力,以及如何将学习方法嵌入SLAM后端,提高SLAM中地点识别精度,也是亟待解决的问题。本文将从直接SLAM前端VO和后端视觉定位两方面展开研究,主要内容包括:（1）为解决传统直接SLAM方法跟踪定位精度不高且不稳定的问题,本文提出基于置信度学习的地面控制点（Ground Control Points,GCPs）SLAM方法,通过随机森林预测立体匹配的置信度,对不同置信度深度观测值采用不同加权融合策略,避免融合导致的深度估计误差。根据置信度选择GCPs,对相机位姿跟踪目标方程正则化,在保证实时性的同时提高相机运动估计的准确性,以及对相机抖动、快速旋转和场景动态的鲁棒性。（2）地点表观的多样性使得针对视觉定位任务提取有效表征面临巨大挑战,基于词袋模型的传统特征无法应对城市级别视觉定位中的复杂场景,利用卷积神经网络（CNN）获得深层地点表征的方式避免了手动设计特征,但未考虑网络的自适应性。本文提出基于CNN特征二阶统计信息的鲁棒地点表征学习方法,采用协方差池化估计深层特征的协方差矩阵,加入参数化的归一化层对不同的样本协方差给予不同的收缩补偿,提高网络自适应能力。通过最小化包含困难负样本的三元组损失函数,提高表征的鲁棒性,帮助识别不同视角下、部分遮挡情况下、光照变化及季节变化的同一地点。（3）视觉定位利用传统图像检索方法从数据库中获得与查询图像最为相近的图像,在SLAM中仍需要多次验证保证定位的准确性。为了增强地点表征相似性度量的准确性和鲁棒性,本文结合示例支持向量机（Support Vector Machine,SVM）,将多核框架度量学习嵌入单一地点分类器。首先,利用样本对构建马氏度量矩阵并扩展高斯RBF核,提出基于距离度量学习的多核分类器模型MLMKC,采用SPG-MLMKC算法求解,有效减少核SVM问题的求解次数,加快收敛速率。将MLMKC用于地点识别,强调图像更具判别能力部分的相似度计算,以增强相似地点的可区分性,提高重定位的精确度。（4）为解决当前深度VO缺乏泛化能力的问题,本文提出基于鲁棒反向合成对齐的自监督深度直接VO方法Deep DVO,利用不确定性网络获得光度误差损失函数正则化项,融合传统相机位姿优化求解,将最小二乘迭代优化嵌入端到端的网络训练,采用加权的高斯-牛顿算法计算形变增量。考虑到求解对初始值敏感,采用回归网络作为位姿初始化保证收敛性。相比其他深度VO方法,在线迭代更新能够提升帧间运动估计的精确度和泛化能力,与此同时深度图估计网络中嵌入超分辨层,使得损失函数可在高分辨率图像上计算,提高物体边缘和场景动态物体深度估计准确性。