自由视点视频可以向观看者提供任意的观看角度和位置,因此具有非常出色的人机交互体验和观看浸入感,被认为是未来数字电视的主要发展方向之一。自由视点视频可以广泛应用于体育赛事转播、文艺演出、互动课程等娱乐与教育行业,也可以应用于临床手术、军事战略研究等社会工作与国防科技领域。自由视点视频的发展能够提高社会的生产效率,改变人类的生活,它的发展具有重大意义。然而,自由视点视频的数据量会随着可观看视点数量的增加成几何倍数的增长,这给视频的采集、存储和传输等带来了巨大的压力。虚拟视点合成技术正是为了解决这一难题,它利用已采集视点的场景信息去合成虚拟视点处的场景图像,可以有效降低需要采集的视点数量,使得自由视点视频变得易于普及。显而易见,虚拟视点合成技术已经成为自由视点视频中的关键技术。在众多虚拟视点合成方法中,基于深度信息的虚拟视点合成技术因为运算消耗低、合成效果逼真得到了较多的关注。基于深度图的虚拟视点合成过程遇到的难点主要有:深度信息的采集将增加自由视点视频应用的成本;实际使用的深度信息往往十分粗糙,影响虚拟视点的合成效果;合成的虚拟视图往往因为去遮挡的现象引入大面积的空洞区域等等。本文深入研究了基于深度信息的虚拟视点合成技术中的几个难点,提出了几项关键技术,设计、实现了几种虚拟视点合成算法,并验证了提出方法的可行性。首先,针对深度信息采集提高了应用成本的问题,提出了一种以局部立体匹配算法为基础的自适应深度估计算法。为了克服局部立体匹配算法误匹配率较高的问题,设计了根据代价聚合情况调整匹配窗口尺寸的算法。实验结果显示,提出的方法在运算速度上接近传统的局部立体匹配算法,同时误匹配率降低了一半。在匹配准确率接近基于像素级的多测度融合方法的同时,运行时间仅为后者的15%左右。这种方法在运算速度与匹配准确率上取得了很好的平衡,能够满足实际应用的需求,这对于自由视点视频的应用有重要意义。其次,文章分析了深度信息对合成虚拟视图效果的影响,对自适应三边滤波器的预处理效果、以及基于特征匹配的深度图精细化方法进行了深入的研究与验证。提出了一种基于左右一致性验证的深度图精细化的方法。这个方法将深度图像素分为高可靠性、低可靠性以及不可检测三类,并利用深度图的空间关联性对不可靠的像素深度值进行精细化处理,得到矫正的深度图。实验数据表明,经过预处理的虚拟视图相比之前提出的方法降低了2%到6%的空洞数量。虚拟视图PSNR指标增长了0.2 dB到0.5 dB。第三,针对虚拟视点和参考视点在拍摄场景时的角度和位置不同,将在合成过程中引入大面积的空洞区域等问题,研究了利用空间域信息修复空洞区域的方法,设计了一种利用时间域信息的自适应全局背景建模的修复方法。该方法利用纹理图对应的深度信息,避免将反复出现的前景物体检测为背景区域,从而得到一个更准确的全局背景图。实验验证结果显示,利用时域信息修复去遮挡区域比传统的帧内修复技术提升了2.2 dB,比基于常规高斯混合模型进行背景建模的修复方法提升了0.7 dB。最后,为了克服虚拟视图中出现的针孔、裂缝、后景渗透等不良效应,提出了基于更新虚拟视点处深度图信息的深度处理方法。该方法在检测到的像素点进行去噪处理,能够高效地消除各种不良效应和噪音,同时保存纹理图中前后景的边界信息以及整幅图像中的纹理细节。此外,设计了多种各具优点的虚拟视点合成流程。其中,低时延的快速合成框架的合成效果和运算复杂度表现较平衡,单视点分层的合成框架仅需要单路参考视点信息,基于置信度的合成技术客观评估表现优越。本文对自由视点视频技术中的虚拟视点合成算法进行了深入的研究、探索和验证,提出了多种基于时空域关联性的技术解决视点合成过程中的难题,对于视频技术的发展具有指导意义。