论文部分内容阅读
随着通讯技术和多媒体技术的发展,基于网络的多媒体应用日益广泛和深入,但同时网络的异构性、终端设备的多样性、应用的复杂性给多媒体应用带来众多难题,也对多媒体技术提出了新的挑战。视频自适应(Video adaptation)通过将已有的视频信号变换为满足资源约束条件且符合用户需求的某种视频表达形式以适应复杂的多媒体应用环境,它是实现通用媒体访问(UMA,UniversalMultimedia Access)的有效途径,是目前视频处理与通信领域的研究热点,具有重要的理论意义和广泛的应用价值。本文重点研究基于多维描述空间(Multidimensional description)的通用视频自适应框架及其关键技术,主要包括多维描述空间的组成、视频自适应操作的实现和基于用户满意度(Utility)的自适应操作选择等等。本文主要工作及创新之处在于:1)提出一种基于多维描述空间的视频自适应解决方案本文在基于多维描述空间的通用视频自适应框架的基础上,根据目前视频应用环境中较为广泛的需求,提出一种实用的视频自适应解决方案。通过对视频信号的纹理信息、运动信息和结构信息进行有效表达和细致描述,形成视频的多维描述空间,从而实现多种不同的视频自适应操作,并将信号层的应用与结构层的应用紧密结合。2)提出一种基于多维描述空间的视频格式自适应方案多媒体应用领域存在多种视频编码标准,因此实现不同视频格式之间的自适应转换具有重要意义。本文在基于多维描述空间的通用视频自适应框架的基础上,提出了一种新颖的实用的视频格式自适应解决方案。该方案利用基于H.264/AVC标准的预编码提取详细完备的运动信息描述,以此快速生成不同编码格式和码率的视频码流,以及指导不同视频格式码流之间的快速转换。3)提出一种基于结构的可分级视频运动信息描述本文提出一种基于结构的可分级视频运动信息描述作为多维描述空间的重要成分,不仅对视频运动特征以及结构特征进行描述,还将两者有机的结合在一起。基于该描述,多种不同的视频自适应应用都可以方便快速的实现,不仅包括信号层的码率转换、时间分辨率降低等,还包括结构层的视频摘要生成、感兴趣片段抽取等。同时也可支持信号层与结构层相结合的自适应操作。4)提出一种适用于视频序列的高质量的纹理压缩算法本文采用视频压缩纹理作为多维描述空间的纹理信息组成,并提出一种适用于YUV 4:2:0视频序列的高质量的纹理压缩算法。该算法借鉴了传统的图像纹理压缩算法DXTC(DirectX Texture Compression,DirectX纹理压缩)的思想,并针对视频的特性对其进行改进,大大提高了压缩质量。同时,压缩纹理与本文提出的运动信息及结构信息的描述相结合构成相对完备的多维描述空间,使得自适应操作不再依赖于原始视频。本论文通过大量实验,验证了文中提出的多维描述空间可以用于快速实现多种视频自适应操作,并保证操作过程中对视频质量影响很小。这些结果充分证明了基于多维描述空间的通用视频自适应框架具有可行性和有效性,值得进行更深层次的研究。