多视点视频广泛应用于三维视频（Three Dimensional Video,3DV）系统，自由视点视频（Free-Viewpoint Video, FVV）系统，三维医疗显示系统和三维视频监控系统等。尤其作为多视点视频面向广大消费者日常生活的一个典型应用，自由视点视频系统成为了现阶段视频信号处理领域的热点议题，作为新生代视觉多媒体系统，其允许用户在任意角度观看视频画面，满足了人们对不同视角的视频信号的感官体验需求。自由视点视频系统中典型的数据表示格式是多视点+多深度（Multi-view Videoplus Depth，MVD）数据格式，由于在终端采用了虚拟视点绘制技术，解决了多视点信号采集、海量数据编码传输及存储的难题。虚拟视点绘制技术可以通过多视点视频中的任意两个视点彩色视频序列及其相应的深度序列来合成两视点间的任意位置视点的视频信号，满足人们任意角度观看视频画面的需求。基于MVD框架的自由视点视频系统一般包括多视点彩色视频信号获取，多视点深度序列的获取，多视点彩色视频序列编码，多视点深度序列编码，多视点彩色及深度序列的传输，多视点彩色及深度序列解码，虚拟视点绘制和三维显示等部分。在多视点视频技术给人类带来的身心感观愉悦及生活便利的同时，也面临着诸多技术瓶颈。在深度序列采集方面，多视点深度序列则由于采集装置分辨率及设备费用限制，使得多视点深度序列的采集面临困难。因此常采用深度图提取算法来获得深度图，但是现存方法都会不同程度上在图像的纹理区、无纹理区和深度不连续区产生误匹配，导致匹配精度降低。在深度序列的编码传输方面，由于深度序列结构特性不同于彩色纹理视频，结构简单，层次分明的特点使其有更大的压缩空间，但是深度图是面向虚拟视点绘制的中间步骤，解码后的深度图质量严重影响着虚拟视点的绘制质量，因此对深度序列的压缩需要有特殊的压缩方法或者处理技术。鉴于深度图提取算法和深度序列压缩方法两个方面面临的技术瓶颈，本文提出了四个算法来解决这两个问题。1.针对深度图（视差图）提取算法中的目标边界和精细纹理区域匹配不精确的问题，提出立体灰度图像对平面亮度法线的概念，通过对立体灰度图像对亮度法线的分析，灰度图亮度法线可以反映出灰度图的高频信息。根据灰度图平面亮度法线这一特性，提出了灰度图像亮度法线相似性测度的概念，并在经典局部匹配算法自适应权值匹配算法核心思想的基础上，提出基于亮度法线相似性和自适应权值匹配算法。算法的实现结果提高了深度图的目标边界及精细纹理区域的匹配精度。2.针对深度图（视差图）提取算法中在无纹理区产生大量误匹配点的问题，提出根据立体图像对之间的视差能量特性，通过引入二次平滑因子，将立体匹配问题模型化为凸函数优化求解问题。通过使用次梯度投影法，以全变分函数为凸约束集，在凸集框架下寻求视差值最优解。这一算法不仅很好的保留了图像的边缘，而且减少了图像匹配过程中在无纹理区产生的误匹配点，提高了无纹理区的匹配精度。3.针对采用H.264/MVC编码框架对深度序列进行压缩编码时，由于编码器中的量化步骤会引入人工效应，尤其会直接导致解码端深度图的目标边缘产生不同情况的扭曲这一问题，提出了将深度图中感兴趣的目标边缘进行边缘检测，进而通过调整编码器的量化参数保留感兴趣的目标边缘。在保证传输码率基本不变的情况下，利用解码后的深度序列进行新视点的绘制，从实验结果可以看出，这一方法提高了绘制的虚拟视点的主观质量。4.针对下/上采样的低分辨率深度序列编码方案，在自适应权值上采样方法的基础上，提出了多相似性自适应权值上采样方法。通过对深度图边缘结构的特点分析，提出三种使用滤波器和上采样方法结合的方案来重构全分辨率深度图。方案一提出结合边缘保留à-Trous小波滤波及自适应权值上采样方法重构全分辨率深度图，方案二提出结合中值滤波及多相似性自适应权值上采样方法重构全分辨率深度图，方案三提出结合边缘保留à-Trous小波滤波及多相似性自适应权值上采样方法重构全分辨率深度图。提出的三种方案都能保证在低比特率下更好地实现了深度序列边缘的保留及重建。通过使用重建后的全分辨率深度序列绘制虚拟视点，提高了绘制后的虚拟视点的主客观质量。