Advanced scalable Coding and Motion Estimation Algorithms for Error Resilient Video Compression

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:wanyuequn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
我们目前正处于一个信息化高度发展的时代,在日常生活中会遇到大量的多媒体内容数据,特别是通过网络进行传输的图片和视频信息。在互联网和无线网络上富媒体的需求正在快速的增长,驱动这些富媒体通信和娱乐服务,不仅需要增强的宽带接入,也需要有力的媒体编码技术,使传输更加有效。一些视频编码标准,例如ISO/IEC MPEG系列和ITU-T视频编码标准,已经开发成功,可以显着地降低数据速率。大部分这些视频压缩方法使用基于块的带有运动补偿的离散余弦变换(DCT: Discrete Cosine Transform)来消除空间和时间冗余。  在针对网络传输所设计的视频编码技术中,两个主要问题比较突出:第一个是任何网络系统的性能都希望最佳地输送数据,但并不能保证网络的可靠性。视频数据,相比与其它数据类型,具有更大的数据量,因而网络有限的传输带宽、低的处理器功耗和可用的存储空间可能限制它的传播能力。针对视频应用,高的传输差错带来了附加的成本,例如时延、复杂度和品质。重传是解决网络传输差错一个有效的方式,但它引入了网络附加的负载,可能不适合要求低时延的应用。其主要的目的是保护视频数据,以及在可能的错误中隐藏或恢复视频数据。在大区域网络中异构性是另一个限制视频应用的问题。不同类型的网络有不同的带宽和流量负载。异构视频网络要求提供具有可变品质的视频服务,并且能够自动准确地满足这些需求。  视频压缩中最关键的部分是运动估计。运动估计是产生运动矢量的过程。这些矢量决定了从前一帧中生成的用来补偿预测帧的运动参数。它的计算量对算法的实时实现提出了很大的挑战。运动估计算法可以分为时域算法和频域算法。匹配算法和基于梯度的算法是时域算法的重要部分。匹配算法可以分为块匹配算法和特征匹配算法。基于梯度的算法可以分为像素递归和块递归方法。频域算法则应用相位相关、小波域匹配和DCT域匹配的方法。  梯度技术通常用于对图像序列的分析。像素递归技术,作为梯度技术的一个子集,应用在图像序列编码中,其中最佳匹配搜索在基于逐像素基础上进行。基于像素的技术要求非常高的计算复杂度,不适合实时应用。频域技术则是依赖与移位图像传输系数之间的关系,没有广泛的应用在图像序列编码中。最终,块匹配技术,其基于最小化特定的代价函数思想,成为编码应用中最广泛使用的方法,它的搜索是在n×n的像素块上进行的。  在各种运动估计算法中,块匹配运动估计是最主要的方法。为了最小化块匹配中的搜索时间,一个简单有效的算法是非常关键的。块匹配运动估计(BMME: Block Matching MotionEstimation)是视频编码中最流行和最实际的运动估计方法。H.26X标准系列和MPEG标准系列均使用BMME方法。块匹配是一个相关技术,它寻找当前图像块和参考帧中特定区域的候选图像块间的最佳匹配。块匹配过程至少用到两帧图片,即参考帧和当前帧。当前帧被分解为各个宏模块,运动估计在每个宏模块上单独进行。一个运动估计算法针对当前帧中将要进行编码的宏模块找出在参考帧上最匹配的宏模块。一旦找到最佳匹配的宏模块,最佳匹配的宏模块和当前的宏模块之间的差异或预测误差就被计算,进而进行DCT变换、量化和游程编码。除了编码不同宏模块之间的差异外,两个宏模块之间的相对位移矢量也将被编码。  在本论文中,我们首先讨论各种基于块的快速运动估计算法,通过实验在搜索速度和计算复杂性方面对这些算法进行评估。进一步将对性能最好的算法进行仔细的分析。这些算法包括穷举搜索或全搜索(FS:Full Search),三步搜索(TSS:Three Step Search),新三步搜索(NTSS: New Three Step Search),四步搜索法(4SS: Four Step Search),菱形搜索(DS:Diamond Search)和自适应十字模式搜索(ARPS: Adaptive Rood Pattern Search)。  其次论文提出了ARPS的新的动态自适应十字搜索算法。它利用了邻块之间的空域相关性,因此我们用ARPS_S来命名,以与ARPS区分。ARPS_S是基于如下的假设:运动矢量的分布不仅与预测的运动矢量高度相关,而且在垂直和水平方向都有高度的相关性,这构成了一个十字阵形。我们所感兴趣的模块周围的模块,其MV的最大值和最小值可以认为是预测MV的估计偏差,这样,他们可以用作臂长的精确估计,从而表示相应方向上的运动动态范围。与ARPS相反,在ARPS_S中四条臂长并不相等。ARPS的初始搜索点数为5,而ARPS_S的初始搜索点数为6。在我们的实验中ARPS_S在搜索速度和视频品质上都比ARPS要优。  最后本论文将讨论使用可伸缩编码策略的差错恢复编码技术。可伸缩的视频编解码技术指的是用户把一个视频序列编码为一个若干个比特流,从而支持译码端各种品质级别。本文将介绍和评估两类可伸缩差错恢复编码技术:分层的编解码(LC: Layered Coding)和多描述编解码(MDC: Multiple Descriptions Coding)  压缩视频比特流的特性使得视频差恢复技术具有很大的重要性。例如,在VLC编码视频数据中单一比特的误差可能导致编码器和译码器之间同步的丢失,进一步导致多个视频块的丢失。多个比特误差,其经常发生在突发信道差错或是包丢失情况下,可能导致部分或整个视频帧的丢失,引起时域维度的误差传播。而这个传播是在减少视频时间冗余度时使用运动补偿技术的直接结果。差错恢复和可伸缩性是视频传输过程中极其重要的两个特征。可伸缩的视频编解码技术指的是用户把一个视频序列编码为一个若干个比特流,从而支持译码端各种品质级别。可伸缩性为在某些可接受的信息损失的情况下提供了很好的鲁棒性。同时,它不会给解码带来太大的问题,也不会严重地影响视觉品质。分层的编解码(LC: LayeredCoding)和多描述编解码(MDC: Multiple Descriptions Coding)是视频传输中的两种类型的可伸缩性编码技术。鲁棒的视频编解码技术在限制错误传播和提高视觉品质方面起着极为关键的作用。通过同时设计合理的结果和维持在最小复杂度下的可接受冗余,鲁棒的视频编解码技术可以有效的解决错误隐藏问题。  分层的编码技术把视频序列分成几层,每层对保真度有不同的重要性。最低层也叫做基层,基层可以被独立地编码。基层以上的层次叫做增强层,他们的译码依赖于基层。基层的视频的品质是最低,随着增强层的增加,视频品质将得到提升。在阻塞的情况下,支持分层服务的网络首先传输对于解码最重要的的基层包。分层的视频编码方法最早被提出来用于对抗在ATM网络中的包丢失,提高传输的鲁棒性。随后,这种编码方法被MPEG-2和MPEG-4两个标准组织接受作为一种主要的错误纠正和可伸缩的编码方法。这种分层的编码也被应用于一些IP中多播的应用,例如Internet多播骨干网。  在MDC中整个比特流(描述是同等重要的)。分层编码经常与不均等误差保护(UEP:Unequal Error Protection)相关,进而对传输中最重要的数据,即基层数据,提供了更高的保护性。尽管如此,如果基层发生丢失(如,由于服务器崩溃或是连接失败),或是接收中有大量的错误,那么由于层间的等级性结构,增强层中附加的信息几乎没有用处。MDC技术把视频序列压缩成几个具有相同重要性的比特流。每个比特流(也叫描述)独立解码,而他们之间可以互相增强。当接收器接收到更多的描述时,重建的视频品质更高。因此,并行的可扩展性在多描述编码是天然存在的。本文中的一部分内容就是研究在LC和MDC中如何生成比特流。每一帧首先经过DCT变换,然后被量化和Zigzag编码。在分层的编码中,最重要的DCT系数(前十个系数)被分配给基层,其余的被分配给增强层。在多描述编码中,64 DCT系数被等价地分割成奇偶两个部分。仿真结果显示MDC场景要优于LC场景。实验仿真证明,相对于分层编码,如果适当地结合路径多样性或服务器多样性多描述编码技术可以明显的提升实时的视频应用的鲁棒性。在MDC编码中,由于在存在错误的情况下所有接收到的信息都是有用的,这样就避免了尽力而为网络中分层编码的问题,从而在尽力而为的包传输网络中,对于视频传输这种编码方法非常有效。
其他文献
该篇论文的任务是在国产HJD04交换机上完成ISDN软件的设计和部分实现.
本文通过对荣华二采区10
期刊
本文通过对荣华二采区10
期刊
目的:血流剪切应力与血管内皮之间的相互作用是决定心血管功能的一个重要指标,本研究意在探讨p38、JNK细胞内丝裂原活化蛋白激酶〔mitogen-activated protein kinaes,MAPK)家
该论文先结合MPEG2主型对MPEG2进行了简要介绍.之后提出了一种新的MPEG码率控制算法,适用于广泛性质的图象源和不同信道速率.
情绪,是对一系列主观认知经验的通称,是多种感觉、思想和行为综合产生的心理和生理状态。情绪对学生的学习活动的作用具有两面性,既可能提高学习的积极性,促进和增强学习效果,也可
猪瘟、蓝耳病是养猪生产中两个常发、重要的传染病,目前对于这两种传染病的防控主要以接种疫苗为主,但由于种种原因,免疫效果往往不尽人意。研究发现,CD28和4-1BB在动物机体
当前,我国基础教育领域正在进行一场意义深远的课程改革,各种不同的因素都对基础教育的学科教学产生着影响,其中以计算机和网络技术为核心的信息技术对基础教育所产生的促进和变