随着科技提升，越来越多的智能移动机器人出现在日常生活中。其应用场景主要在厂房、仓库、大楼等室内特定环境的非结构化道路中。机器人能否高效的完成工作，主要依赖于准确的移动定位与环境交互。但是室内环境是一个封闭的立体空间不能依赖GPS完成全部定位，所以需要考虑重建实际的三维环境结构，使机器人更好的完成对环境的感知。目前综合整体成本考量，主要使用单目彩色摄像头配合深度相机作为主要的传感设备，因此本文研究基于深度图像的室内场景三维重建以及对场景中物体语义分割，主要研究内容如下：
　　1)提出基于字典学习的深度图像修复方法
　　针对三维重建过程中涉及的图像预处理进行研究，精确构建出周围环境模型以完成更好的定位。使用深度学习网络检测空洞并基于字典学习对深度图像的空洞进行填补，使得对相机位姿计算更准确，提出了采用Kinect传感器的简便三维重建方法。在三维重建过程中针对空间遮挡和各种物体表面形态，不可避免的出现空洞现象。首先使用YOLO在前端对采集的单帧深度图像进行空洞区域检测，之后采用字典学习算法对空洞进行填补修复，在此基础上，使用迭代最近点(ICP)算法进一步提高相机位姿估算精度，最后结合截断距离符号函数(TSDF)算法实现了一个三维重建方法。
　　2)提出基于融合深度特征的室内场景语义分割方法
　　针对场景中物体的语义分割方面，本文设计了一个可以融合多种输入特征的卷积神经网络(CNNs)模型，感知并理解未知环境为算法决策提供语义信息。在NYUV2数据集和ScanNet20数据集以及自采集数据集中对比相似网络准确率都有一定提高。设计实现了一个融合彩色图片、深度图片和HHA(水平视差，离地高度和局部表面法向量)信息的CNNs语义分割模型，使得彩色图像和深度信息可以进行联合预测语义信息。提出的模型在NYUV2数据集中平均交并比(mIOU)达到67.3%;在ScanNet20数据集上mIOU达到80.1%。所提出的方法较同类方法相比，在场景语义分割上的精度有明显提升。