图像的深度值预测和三维结构重建是计算机视觉和机器人领域中的一个热门的研究课题。深度图的构建是三维重建的重要前提,传统方法主要依靠确定固定点深度进行人工标注或是根据相机的位置变化来进行双目定位来预测深度,但这类方法一方面费时费力,另一方面也受到相机位置,定位方式,分布概率性等因素的限制,准确率很难得到保证,从而导致预测的深度图难以完成后续三维重建等工作,本文通过引入基于多任务模块的深度学习方法来解决这一问题,具体解决如何实现单目图像的深度预测,并结合语义分割,表面向量预测三种任务一同训练,增强特征的共用型,提高深度预测的准确性和结构性。本文针对场景图像提出一种基于多任务模型的单目图像深度预测网络,能同时训练学习深度预测、语义分割、表面向量估计三个任务,包括共有特征提取模块和跨任务特征融合模块,能在提取共有特征的同时保证各个特征的独立性,提升各个任务的结构性的同时保证预测的准确性。另外,针对三维结构的重建问题,为了解决多视角产生的结构冗余,证明视角预测对三维特征提取能力和重建质量起到促进作用,本文提出一种基于视角规划的点云重建网络,该方法基于深度学习,设计了一个面向多视角图像的三维点云重建网络,网络包括三维几何语义特征提取模块、三维点云重建模块和视角规划模块,整个网络为一个可统一训练的架构,使用该算法能在视角信息较少的时候,能很好的对图像预测其三维点云结构,对视角的预测规划也能够增加效率,以免造成计算量过大的问题。