新视点绘制也称虚拟视点绘制,就是通过一个或多个不同位置(视点)的摄像机拍摄同一场景的图像,来生成此场景其他虚拟视点或相机位置上的图像。虚拟视点绘制方法主要分为基于模型绘制(MBR)和基于图像绘制两种(IBR)。其中基于图像绘制主要是利用有限但是高效的视点图像信息,而基于模型绘制则是利用大量的视点图像信息来进行复杂的几何建模与计算实现真实的立体沉浸感。新视点绘制这一技术可以用于诸如虚拟现实、图像稳定或单目电影3D化等应用。基于模型绘制可以实现任意方向上精确视角的绘制的优点但是需要大量复杂的输入视点信息进行长时间的计算,这局限了这一方法的应用。而基于图像绘制可以利用有限且高效的视点进行快速绘制,却依赖于有限的标定视角信息难以实现任意视点切换的缺陷,同时在传统基于图像绘制方法中的合成颜色特别是高光成分不准确。本文提出了一种新的自由视点绘制技术,它避免了基于模型绘制中对大量的视点信息进行建模计算,而选择基于图像绘制的基于视点映射关系的快速绘制,并且对场景进行构建几何模型实现任意方向自由视点的绘制。同时针对在传统的基于图像绘制合成技术中的固有前提,这一问题在基于模型绘制中由于建立的模型中包含了对光照的建模所以有效地解决了,即虚拟视点下物体颜色与虚拟视点下物体颜色一致,导致在场景中材质的镜面光系数越高,合成不切实际的结果就越显著这样的问题进行了修正。这种基于图像绘制的思路就是只考虑光照模型中环境光和漫反射这两种与视角无关的分量,而忽略了与视角相关的镜面光分量,这样一来在视点偏移特别是我们提出的任意方向的自由视点偏移时高光部分是“静态”的从而严重影响真实立体感。我们的方法将视点合成过程在端到端的网络中实现并优化颜色信息的高光分量在最终虚拟视点下的显示,由于基于图像绘制自身的性质,即有限输入信息,对于镜面光这样相对复杂得多的问题来进行基于模型绘制那样的建立模型比较困难,所以我们利用神经网络对于非线性过程强大的学习能力构建合适的神经网络结构来进行修正。本文方法做了这样三点研究与改进:1.不使用深度图,分析归纳了基于图像绘制技术合成新视点的过程,并将深度估计与视点合成过程的绘制结合在端到端的深度卷积神经网络中。2.针对传统基于图像绘制合成结果的颜色不准确,特别是对于高光的合成结果不准确进行修正。3.利用对场景进行构建几何模型实现任意方向自由视点位置的生成并利用CUDA加速了整个的绘制与修补过程实现实时的视点变换视频观看。最终本文通过实验与测试证明了我们对于基于图像绘制的理解准确性,在端到端的神经网络中进行绘制虚拟视点,并且对于虚拟视点的高光分量的绘制质量有一定的提升,最后我们也实现了在任意方向上的自由视点快速而高效绘制的实时视频视点偏移技术。