从RGB图像中恢复物体或场景的三维几何是计算机视觉研究的一个基本问题。关于三维视觉的研究至少可以追朔到二十世纪八十时代。从那时起,传统的多视角几何开始发展起来用于三维重建,而且成为了许多基础应用的核心技术,如虚拟增强现实、机器人导航、自动驾驶等。传统的多视角三维重建通过先建立局部特征点匹配然后经过全局优化求解表面几何。最近由于大规模的三维模型数据集的建立,我们可以利用深度神经网络强大的拟合能力,实现从少量甚至单张图像中端到端地学习三维物体的重建。现有的深度学习方法通过对不同的形状表达方式设计重建框架取得了不同程度的进展,然而它们都有自己的局限性。由于现有的学习框架缺少对拓扑结构的显式约束,这些方法均不能很好地重建出具有复杂拓扑结构的物体。为此,本文提出使用骨架表达来帮助从图像中重建三维物体的下游任务,因为骨架能很好地保护拓扑,并且相比表面更易于学习。从技术上讲,本文提出了一个全新的骨架学习网络,它以骨架点云的学习作为桥梁来学习骨架的体素表达。为了学习骨架点云,本文设计了平行的双分支点云解码器,每个解码器分支分别负责学习骨架曲线和骨架曲面上的点;为了高清骨架体素的合成,本文提出了一个全局结构引导局部子块修复的策略;本文还提出了一个可微分的点云到体素转换层（Point2Voxel layer）,使得Skeleton Net可以端到端地训练。通过学习到的骨架体素,本文提出了两种模型:基于骨架约束的图卷积神经网络（Ske GCNN）和基于骨架约束的隐式场学习网络（Ske DISN）,它们分别在现有的网格变形和隐式场学习的框架基础上进行了改进。我们通过充分的实验验证了我们提出的Skeleton Net的有效性。Ske GCNN和Ske DISN的性能均优于现有方法,并且通过不同的评价指标进行度量时,它们具有各自的优点。在真实图片上的泛化测试也进一步证明了我们提出的方法的有效性。