论文部分内容阅读
随着多媒体技术的不断发展,视频技术也需要从二维向三维转变,和普通的二维视频相比,三维视频增加了场景的深度信息,增强了视觉的现实感和逼真感,可以给用户提供全方位沉浸式的感受。三维视频技术可以广泛应用于数字电视、移动设备系统,三维视频会议系统、虚拟现实系统等方面,而其中移动设备系统更为人们所关注,移动设备已经逐渐成为人们进行信息获取、处理处理、个人娱乐等的重要途径。因此人们迫切的希望在移动设备上享受真实感绘制,比如:显示真实感的3DTV、虚拟现实的漫游等等。移动设备由于采用电池供电,存储器空间有限,带宽较小,因此移动设备的真实感绘制系统应具有低功耗和低带宽的特点。传统的计算机图形学是建立在基于3D网格模型的绘制基础上,能否准确的构建成场景的3D网格模型将直接影响最终绘制的效果,整个绘制过程与场景复杂度有关,带来了功耗大的问题。而基于图像的绘制技术(IBR)由于与场景复杂度无关且真实感强等特点,在近十年来成为真实感绘制的研究热点,但由于其数据量庞大,对于移动设备有限的存储空间和带宽非常不利。针对这些问题,本文提出了一种面向移动设备的动态3D目标的真实感绘制技术。主要工作和创新如下:1)针对移动设备存储空间小和带宽有限的特点,提出了一种面向移动设备的动态3D目标的光场渲染编解码器设计。由于3D网格模型来源于图像,降低了人工建模的复杂度。同时,由于具有场景目标的几何信息,场景目标重构所需的图像数量可以大量减少,降低了数据量,有利于低带宽的移动设备的数据传输,实验结果表明,数据量相比基于图像的绘制方法,存储数据量以及传输数据量都得到了有效的降低。2)结合重建的目标的3D网格模型,提出了一种面向移动设备的目标表面光场采样方法,详细分析了光场采样前的可见性问题以及虚拟视点的生成方法。该方法不但可以实现真实感效果,而且可以实现自由视点的绘制。实验结果表明,这种采样方法准确记录了目标向空间发出的光线信息,包括了光线的强度和光线的方向。3)由于采样的光场矩阵包含的数据量较大,不利于视频数据的传输,提出了一种自适应的奇异值分解算法,自动控制光场矩阵的分解级数,解决了人为主观因素的控制,保证重建质量的同时,提高了压缩率。光场矩阵分解后获得目标的表面纹理和视点纹理,采用矢量量化和S3TC压缩算法去除纹理图像之间及内部的冗余信息,实验结果表明,在保证真实感效果的前提下,数据量得到了有效的降低。此外,S3TC算法为图形硬件广泛支持的标准纹理压缩算法,有利于实现光场重建的硬件加速过程。4)提出了一种面向移动设备的光场渲染解码器的硬件架构设计,采用自行设计的图形处理器,对光场解码过程进行硬件加速,实现实时绘制。同时针对解码器中负责光场重建的核心单元——纹理映射单元,提出了一种FPGA设计方案,对其中的纹理存储单元(Cache)进行了优化设计,采用了基于4×4压缩纹素块的存取方式,充分地利用了像素间的相关性,提高Cache的命中率,减少了对总线带宽的需求。实验结果表明,该架构可以实现动态3D目标的真实感绘制,证明了本文提出的面向移动设备的动态3D目标真实感绘制的可行性。