深度视频已经深入到自由视点视频、三维场景重建、机器人视觉地图以及虚拟现实等热门领域中,它的作用是反映实际距离场景的深度信息,满足用户逼真的视觉震撼感。深度视频的获取分为软件估计和深度相机采集两类,软件估计方法不仅复杂度高,估计的深度信息也并不准确。随着深度相机采集技术的发展,廉价和低成本的优势让深度相机采集技术成为了研究的热点。深度相机获取深度信息主要依赖于红外激光技术,通过传感器向场景发射红外光,由另一传感器接收反射回来的散斑图,根据散斑图计算出场景的距离并映射到图像的像素范围内形成最终的深度图。然而,由于场景物体表面的反射、折射以及遮挡暴露等诸多环境因素的影响,实际采集的深度信息会出现信息的丢失,产生空洞。深度信息的缺失将严重影响多视点绘制以及三维场景重建的质量,进而造成用户不舒适的视觉体验。为了提高深度视频修复的质量,本文主要从以下三个部分开展深度视频空洞修复技术研究。(1)通常利用空间相关性进行图像修复不能很好地修复失真的边界,本文从同一场景下彩色图像和深度图像的关系考虑,发现彩色图像颜色相似的区域对应的深度图像区域中的像素点值很相近,除此之外还具有结构相似性。文中利用该特性提出了一种超像素分割的修复策略,提高相似区域判别的准确性以及空洞修复的精度。将分割区域所对应空洞大小按比例分为四类,分别为无空洞区域、小空洞区域、大空洞区域和全空洞区域,针对不同的区域分别采用合适的空洞修复策略,实验结果表明,文中方法与Telea、Shen和Scheming的文献方法相比,平均均方根误差分别降低了2.9584、0.8229和0.0780,修复的主观质量也有所提高。(2)传统的空洞修复方法主要结合深度有效信息的特征进行修复,这些方法没有充分的考虑场景的稀疏性。本文从当前深度相机采集深度信息失真与无失真深度信息的关系考虑,建立一种稀疏失真模型。根据该模型,分别对失真和无失真深度矩阵进行稀疏表示,通过提出一种联合结构滤波方法尽可能减少噪声矩阵项的影响,再通过稀疏关系和提取因子判决估计出原始的深度矩阵像素值,从而达到修复的目的。实验结果表明,文中方法与文献的方法相比,修复深度图的主观质量和客观质量都有所提升。此外,文中方法修复的深度图对绘制虚拟视点的主观质量总体上也比其他方法有所提高。(3)对齐的彩色与深度视频的帧间具有相关性,本文针对该特性进行挖掘,提出一种静止区域时空一致性深度视频修复算法。首先,该算法对采集的深度视频帧中的静止区域和运动区域通过运动目标提取方法进行分离,并针对背景差分提取方法进行改进,在前背景样本点更新过程中引入深度差,以消除前景运动区域与静止区域相似的彩色纹理区域的影响。其次,文中对于静止区域和运动区域采用静止区域交叉修复方法和联合权重滤波方法分别进行空洞修复。最后,将两种区域修复的结果合并,并利用彩色信息引导滤波进行深度边缘修复,得到最终的修复结果。实验结果表明,本文的方法与存在的深度视频空洞修复方法相比,表现出很好的性能。