同步定位与建图（Simultaneous Localization And Mapping,SLAM）已经在机器人视觉领域进行了几十年的研究,但是基于传统建图方法下的深度估计花费时间长,很难达到工程上要求的实时性,而且地图中不具包含义信息,使得三维建模在应用方面的拓展受阻。基于这些问题本文设计了一种基于深度学习的单目图象深度估计的方法,提高建图速度,同时设计了一种融合的语义分割网络,让整个系统能够快速构建出场景三维模型的同时还能包含语义信息。以下是本文的主要研究与贡献。1.为了解决传方法中深度估计花费时间长导致的实时性问题,本文设计一种基于编解码结构改进的图像深度估计算法。该算法的编码器采用的是结构简单的Densenet-169网络编码器,网络中只包含4个主要模块。网络中当前卷积层的输入来自前面所有层的输出,然后通过卷积降维,这样就减小了传递过程中的数据冗余还有梯度损失,所以能够快速、准确的估计图像深度。为了减小网络的GPU内存消耗,通过动态调整的方式重新构造网络中的消耗成本体实现粗略到精细的深度估计,同时用Inplace-ABN模块来替换卷积中原来的BN+激活函数模块,前向传递时只需要存储少量数据,其他数据在反向传播中计算出来,这样就只要增加少量的计算量从而节约大量的GPU内存消耗,同时还不降低网络精度。2.为了解决构建好的地图中不包含语义信息限制了地图的应用拓展问题,本文设计了一种融合深度图与RGB图片的语义分割网络,并将语义分割结果映射在构建好的地图中。依据深度图特征主要分布在目标结构边缘,RGB图片特征主要分布在目标表面的不同,提取两者图片特征并通过concat+1×1卷积的方式进行特征多级融合,使得最终的融合特征图能够具备两种图像的特征。再结合空间金字塔池化结构提取不同感受野下的融合特征图的特征,利用低层次的局部信息对高层次的整体信息进行弥补,最后利用注意力辅助机制,来使得改进后的网络提取特征点的时候更加专注于两者特征融合的部位,从而达到提高语义分割的效果,进而使重建的三维语义地图有更广泛的应用。3.将各个模块组合搭建出一个三维语义重建系统。将本文设计的算法在主流数据集上测试算法结果,然后与其他先进算法做了对比试验。实验表明本文提出的算法相比较于传统的算法有了一定的提升,实时性与准确性满足工程要求。