论文部分内容阅读
三维可视媒体(图像与视频)因为其震撼的立体效果和极具冲击的感官体验正变得越来越受欢迎。面对当今各种各样的终端显示设备,当图像与视频的分辨率与显示屏不相符时,如何使之自适应匹配显示的问题被称为重定向问题。从用户观看的体验感受出发,基于图像内容的重定向方法正受到广泛的关注。本课题致力于三维可视媒体的重定向方法研究,从人眼视觉系统对于3D媒体的体验感知特性入手,着重从视觉注意力选择、视觉舒适度优化和视觉深度感增强这三个方向研究三维媒体的显示重定向处理,主要内容包括:(1)考虑到现有的立体重定向方法并未充分考虑立体视觉注意力因素,本文提出一种结合立体视觉注意力的立体图像重定向方法。通过保证左右视点取缝的几何一致性,可以将单图像的细缝裁剪算法推广到双目立体图像中。进一步,从立体图像2D空域颜色特征和深度感知特征两方面构建视觉注意力模型,并将其加入到重定向框架中,引导重定向算法更好地保护场景中的重要对象,提高观看体验效果。(2)研究视觉注意力引导的基于细缝裁剪的视频重定向方法。对于视频的重定向问题,保证相邻帧之间重定向处理的时域相关性是一个非常重要的课题。方法首先引入场景的深度信息,结合梯度、显著性和运动检测信息,建立注意力模型;然后,构造帧内能量项和帧间能量项,并结合视觉注意力能量项,构造总能量函数进行细缝裁剪处理,实现视频的重定向。(3)提出面向视觉体验质量增强的立体图像重定向算法。在重定向的同时,通过感知深度调整,对立体图像的视觉舒适度和场景深度感进行协同优化。该部分研究内容以舒适度和深度感因素为导向,在基于图像网格形变的重定向算法框架下,根据观看环境参数,构造线性深度映射能量项、深度感增强能量项和深度结构保持能量项,联合相关形状保持的能量项,在立体图像重定向的同时,优化场景内容的深度分布以达到立体图像视差调整的目的,从而提升视觉舒适度、增强场景深度感。(4)提出面向虚拟视点绘制的多视点视频系统重定向方法。该部分研究内容首先根据相机参数与基线距离将场景的深度值转化为显示空间下的像素视差,并进一步转化为三维场景的感知深度。然后将感知深度作为第三维坐标变量,从形状保持、线保持和视觉舒适度优化三个方向构建能量函数进行网格变形与深度调整的协同优化,同时对彩色图和深度图进行对应一致的分辨率调整处理,并对深度值进行重映射操作。最后,通过基于深度图的绘制技术(DIBR)得到虚拟视点的重定向图像,完成多视点视频系统的重定向处理。