智能播放终端、消费级RGB-D传感器以及移动通信的发展,为三维(3D)视频从大荧幕迈向更广泛的应用带来新的契机。多纹理多深度(MVD)视频,因其能提供灵活的深度感和支持任意角度的虚拟视点重建,被认为是目前支撑增强现实、虚拟现实、自由视点电视等需求的最为有效的3D视频格式。但同时传输多路纹理视频和深度图序列所需巨大数据量也给MVD视频的实际应用带来挑战。这需要利用更高性能的压缩方法抑制MVD视频内冗余,以在保证质量的条件下尽量提升压缩比。H.265/HEVC编码框架利用更复杂的预测和熵编码模式加强了对空间冗余、时间冗余和统计冗余的抑制;3D-HEVC通过引入路间预测进一步抑制了视点间以及纹理视频与深度图间冗余。然而如何更有效地利用人类视觉系统(HVS)的特点抑制视觉冗余仍亟待解决。本文利用HVS对感兴趣区域(ROI)内质量更为敏感,其他区域存在更多视觉冗余的特点,围绕3D视频的ROI压缩展开研究。ROI的自动准确选取是保证ROI压缩性能的前提,本文首先研究了HVS显著度与视频深度和纹理特征间的联系,然后从RGB-D特征分析的角度,研究了3D视频ROI自动选取方法。接着,针对视频压缩技术对后向兼容性的需求,研究了现有编码标准中控制压缩性能的率失真优化功能,并据此研究了面向3D-HEVC并具有良好兼容性的ROI多分辨和ROI多量化参数(QP)压缩方法。最后,分析了深度图的特点及其对立体感的作用,针对现有RGB-D传感器的常见退化和HVS对轮廓区域深度认知特性,研究了基于轮廓引导的的深度图ROI重建方法。本文的研究对于利用HVS生理和心理特性,在现有传输条件下,提供更高质量的视频和更灵活的信道适应性,满足未来应用需求具有重要意义。首先,为了实现3D视频ROI自动选取,论文通过全面分析HVS关注度与视频不同特征间的联系,提出了基于RGB-D视频特征分析的ROI选取方法。论文先建立RGB-D四元数表达系统,其能够以数制形式融合地表达颜色与深度信息,为彩色图像特征分析算法推广到RGB-D领域提供了简洁通用的框架。在此基础上,考虑到轮廓区域对立体视觉的重要性,提出基于全四元数梯度滤波的语义轮廓检测方法,实验证明该方法能在准确提取语义轮廓的同时抑制阴影等物体内部纹理,为ROI选取和后续深度图ROI重建提供重要支撑。接着,研究了HVS心理和生理显著度与视频深度、纹理、面部分布以及场景相对位置的关系,提出基于四元数meanshift分割、纹理显著度检测、三维人脸检测和位置加权的显著图生成方法,并与轮廓区域结合完成ROI选取。对多个MVD测试序列的实验证明,本文算法的ROI选取结果能综合体现以上视觉关注特性。其次,针对现有压缩标准中全局率失真优化的比特率分配与HVS特性不符的问题,提出了基于ROI预处理与3D-HEVC兼容的ROI多分辨和ROI多QP压缩方法,进一步抑制n ROI内视觉冗余。论文研究了3D-HEVC中率失真优化在编码模式选择和码率分配中的作用,通过实验验证了其ROI内产生了更大的失真,而其他区域内细节得到了更好的保护。出于兼容性考虑,提出基于ROI多分辨预处理和ROI多QP预处理的压缩方法,通过主动抑制非ROI内细节信息,利用率失真优化准则,使编码器认为在该区域使用更节省比特率的编码方式即可达到较低的失真度,从而使更多的比特率分配到ROI,保护ROI内细节的同时抑制其他区域视觉冗余。实验证明,与3D-HEVC压缩结果相比,本文提出的ROI多分辨和多QP压缩方法都能够在保证视频主观质量条件下,使视频的整体比特率明显降低。通过不同测试序列的实验,本文ROI压缩方法与3D-HEVC压缩传输系统能够良好兼容,并提高其质量选择灵活性和对网络条件的适应性。最后,考虑到深度图轮廓区域对重建视频质量和立体感的重要影响,以及针对目前消费级RGB-D传感器普遍存在的深度退化,提出了基于自适应形态学的深度图重建算法,利用深度图特点及其与高质量纹理视频间的空间相关性对传感器的固有深度退化以及压缩引入的深度降质进行重建。论文先分析了深度图和数学形态学滤波的特点,通过统计实验验证了形态学滤波对深度图重建的适用性。之后,分析了场景语义轮廓与HVS立体感知间的关系,为了保护物体形状特征提高重建准确度,提出基于RGB-D语义轮廓约束的形状自适应结构元素(SASE)生成方法,并利用SASE实现了深度图高效重建。为进一步保护深度图平滑区域的三维形态特征,解决传统形态学算子产生灰度漂移的问题,论文提出了广义数学形态学滤波的概念,将数学形态学从摄像机坐标系推广到任意笛卡尔、柱面和球面坐标系。据此,提出一种形状-模式自适应形态学滤波算法,用于在不追求实时性的应用场景中进一步提高深度图重建的精度。通过定量模拟实验和真实传感器数据实验证明,本文提出的形状自适应形态学滤波方法能够在播放端对深度图进行实时重建,相比其他先进深度图重建算法获得更好的重建精度,尤其能保护轮廓附近的深度信息的准确性。形状-模式自适应形态学滤波方法能以更高的计算复杂度为代价进一步保护深度图中三维空间结构。