论文部分内容阅读
近年来,随着虚拟技术的发展,人们对数字化、可视化提出了更高的要求,三维花朵模型在场景设计与计算机游戏等方面都有着非常重要的应用。花朵因为其复杂多变的结构面临更多的挑战。传统的基于单幅图像的三维重建技术,尽管输入数据仅需采集物体的一张图片,但无法处理被遮挡视角的信息缺失等问题。而基于多幅图像的物体三维重建需要建模人员提供多张不同视角的图片,通过运动恢复法、立体视觉法等方法综合多张图片信息重建出物体的三维模型。伴随着近年来深度学习的发展,从单一视角图片推断其余视角图片成为可能。本文将利用深度学习方法弥补缺失视角的信息,方便快捷的实现单幅图像的花朵重建。论文主要研究内容和结论如下:(1)构建用于深度学习的花朵三维模型数据集针对现有三维重建研究中缺少花朵三维模型数据集的问题,本研究使用3ds Max工具对网络上收集的三维场景模型中的花朵进行分割,共提取出4106个单独的花朵模型。随后将每个花朵模型进行预处理后使用Panda3D对其进行渲染,获得不同视角下各个花朵模型的真实的RGB图以及真实的深度图各24张,构建了可以用于深度神经网络学习的花朵数据集。(2)基于单幅花朵图像预测生成花朵多视角RGBD图像针对已有基于单幅图片进行花朵三维重建的算法中的单视角图片自遮挡和缺失深度信息的问题,本文实现了一种基于卷积神经网络预测生成花朵不同视角的图像与不同视角的深度信息的算法。输入真实的单视角RGB花朵图像与目标视角信息,通过编码器-解码器网络结构生成花朵的多个不同视角下的RGB图与深度图。实验结果表明,对于结构简单,对称性强的花朵,该方法生成的深度图与真实深度图像之间的平均互信息(Mutual Information)为0.6743,基本推断出了被遮挡的部分,较好的反映了花朵的结构与轮廓。(3)基于生成多视角RGBD图像后的网格三维模型重建针对(2)中生成的简单花型花朵多视角RGBD图像相机位姿不统一的问题,本文研究基于点云的ICP配准方法,将不同角度的点云进行配准,得到了整体的点云信息。得到配准后的整体点云后,使用贪心投影三角化算法生成网格。实验结果表明,本文算法重建出的三维网格模型可以较好地保持简单花朵模型的全局特征,重建精度较高,与真实花朵模型点云之间的平均倒角距离(Chamfer distance)为0.2703,能够忠实地反映目标花朵结构。