论文部分内容阅读
随着3D电影和电视的大量普及,3D视频技术得到了广泛的关注和极大的发展。当前的3D电影和电视只能提供单一的观看视角,用户被动接受给定的视角,难以获得更加贴近真实、更加直观的立体体验。近年来已经出现了大量多视点视频(Multi-View Video,MVV)和虚拟现实(Virtual Reality)相关应用,用户可以通过交互的方式自主选择任意的观看角度。多视点视频已经成为未来多媒体发展的主要方向,而这一应用的前提条件是如何有效的描述场景以及完美的重构场景。作为一种高效的场景描述技术,基于图像绘制(Image-Based Rendering IBR)技术由于其较低的计算复杂度以及能提供用户真实的视觉感受,近年来得到了广泛的关注和深入的研究。当前的视频编码标准如多视点视频编码标准(Multi-view Video Coding,MVC)以及 3 维高效视频编码标准(Three Dimension High Efficiency Video Coding,3D-HEVC)都是IBR技术的实际应用。相对于基于模型的绘制(Model-Based Rendering,MBR)方法,IBR方法无需或者只需少量的场景深度信息,相应的计算复杂度很低。但是为了保证场景的高质量重构,IBR方法需要增加大量的采样样本。归根结底,IBR技术可以看作是一个采样和重构的问题:首先使用有限的样本对场景进行采样,然后在获得的有限样本基础上对场景进行重构。这其中的关键问题是如何用最小的采样样本保证场景的有效重构。由于最早的IBR参数描述方法是7维的全光函数(Plenoptic Function),故而针对IBR数据最小采样率问题的研究被称为全光采样(Plenoptic Sampling)。本文针对全光采样理论和实际应用进行了如下几方面的研究:首先本文扩展了全光采样理论研究的适用场景,研究了非理想场景的采样和重构。针对现有的全光采样理论研究的场景过于理想化(不考虑场景中的遮挡以及非朗伯反射等情况),本文通过对全光谱分析的本质出发,将全光函数的谱划分为两个部分:主体部分和旁瓣部分。主体部分是由场景最小和最大深度确定,这部分等同于现有的全光采样理论分析的结论;旁瓣部分则是在最小或最大深度平面对应的谱区域扩展。本文结合场景特性进行建模,着重分析谱的扩展,定量的获取了非朗伯反射场景、存在遮挡场景以及斜平面场景的采样率和相应的最优重构滤波器。本文的结论兼容并扩展现有全光采样理论的结论,为全光采样理论应用于真实场景提供了理论支撑。其次,本文对有效景深场景下的采样进行了研究。普通相机的散焦特性以及光场中采用的常深度重构滤波器都会导致场景高频信息的丢失。为了减少这类失真,本文首先在普通相机的采样过程中使用最大容许弥散圆直径确定了有效景深范围,保证在该有效景深范围内的单相机采样的场景是聚焦的;其次,针对常深度重构滤波器的重构失真模型进行了分析,通过在重构时引入最大容许弥散圆直径,以保证重构无散焦为前提条件,获取了有效景深下中重构无散焦时的采样率,避免了重构时高频信息的丢失。在此基础上,本文提出了一种最优全光采样方法。首先根据相机参数确定场景的最小和最大深度,保证整个采样是在有效景深下进行的;当实际采样场景无法满足有效景深范围时,则需要调整相机参数或者使用基于分层的采样框架。在最优全光采样过程中,相机参数如分辨率、焦距、光圈直径等等成为了制约整个采样的关键因素。也正是在充分考虑了这些因素,使得在有限相机采样条件下的无散焦场景采样成为可能。最后,本文提出了一种基于深度分层的大景深场景采样和重构框架,将全光采样理论应用于实际场景中。全光采样理论实际应用存在两个难点:第一,光场采样只适用于小景深场景,针对大景深场景的采样需要以避免高频信息丢失为前提;第二,现有全光采样理论获得的采样率往往过大,相机布置困难。对此本文提出一种基于深度分层的框架。在采样过程中,首先综合考虑相机参数性能和实际相机数量限制将场景划分成多个有效深度分层,保证每一深度分层处于有效景深范围,进而获取有效深度分层下的采样率,避免了高频信息的丢失;在重构过程中,首先对场景分层重构,进而利用常深度重构滤波器的散焦特性,使用基于色彩一致性的聚焦区域识别方法,获取了每一层的聚焦区域,最终通过整合每一分层的聚焦区域实现全焦视点重构。本文的采样重构框架在大幅降低采样率的同时有效地保留了场景的的高频信息。进一步,本文也将该框架应用于普通相机和全光相机的采样中,实现了真实场景的采样和重构。综上所述,本文的工作首先扩展了全光采样理论的适用场景,分析了非朗伯反射场景、存在遮挡场景以及斜平面场景等的采样和重构。其次针对全光采样理论的实际应用,本文首先研究了有效景深场景下的无散焦采样,并此基础上提出了一套基于深度分层的大景深场景采样和重构框架,该框架能适用于普通相机和全光相机的大景深场景采样和重构。本文的全光采样和重构研究可以广泛应用于多视点视频相关领域,为多视点视频前期数据获取提供了研究思路和解决方案。