深度图是立体图像数据的一种有效表达方式,基于深度图的自由立体图像处理系统能够提供灵活的网络和终端适应性,因此给立体图像处理领域带来了新的机遇和挑战。其中,深度图的生成和评价具有至关重要的作用,制约着整个系统的后续处理性能。本文针对自由立体图像深度信息的挖掘和评价算法开展了深入细致的理论和实验研究工作。首先,本文提出了一个基于深度信息的自由立体图像处理系统的方案,只提取第一个和第N个视点的深度图,并结合网络和用户端的反馈情况,设计了分层编码算法,传输特定视点的视频流和深度图信息。在显示端,设计合理的虚拟视点重建算法以根据用户的实际需求来重建虚拟视点。理论分析和实验研究表明,整个系统可以实现自由立体图像的有效传输,并能与传统的平面电视系统相兼容。其次,本文提出了基于分数级像素精度的深度信息挖掘算法,并结合左右视点深度图的不同特性,首次提出了用半相位DCT内插算法来估算分数像素点的视差信息。通过实验比较了整数像素精度,半像素精度和1/4像素精度的视差图质量,结果显示半像素精度视差图能够反映更多的图像细节信息,具有最优的匹配质量。此外,本文进一步设计实验比较了半相位DCT内插算法和目前常用的内插算法的性能,结果表明半相位DCT内插算法更适合与立体匹配算法相结合。再者,本文首次提出采用各向异性离散的数字全变差模型来处理初始视差图,同时根据左右视差图不同的特性,对左右视差图采用不同的离散矩阵,有效地消除了初始视差图中无纹理区域的“空洞”现象。经过这种处理,不会产生边缘模糊,提高了最终生成的深度图质量。最后,本文以高斯视差分布模型为基础,首次提出了基于Neyman-Pearson判决准则的深度图质量客观评价指标,并设计了基于该指标的客观质量评价算法。实验结果表明,本文提出的客观质量评价算法可以有效地反映视差图的质量。