基于压缩域的视频图像插值和重建技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:xmingfu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今,数字化的多媒体技术在人类社会的各个领域内有着极为广泛的应用。在各类数字多媒体信号当中,图像/视频等视觉信号逐渐成为人类最主要的信息载体。由于源图像/视频信号数据量较大,目前大量的图像/视频等视觉信号通过有损压缩编码技术,变换为压缩域码流,实现了高效的传输和存储。但是压缩视频图像也存在一些问题:一方面,受低分辨率采集设备、存储空间或传输带宽的限制,一些压缩视频图像的分辨率较低;另一方面,一些经过压缩感知编码技术重建的视频图像,其重建质量较差。这些低分辨率或压缩感知重建质量低的图像/视频信号会影响人们的视觉感受。视频图像插值和重建技术能够增强压缩图像/视频的分辨率和重建质量,提高人们的视觉感受。因此压缩图像/视频的插值和重建技术是数字视频图像处理领域有实际意义的研究课题。通过码流解码得到的重建图像/视频信号可以看作是源图像/视频信号的退化信号,从退化信号恢复源信号的问题具有病态特性。该问题涉及到视频编码技术和图像处理等领域。压缩视频图像的码流在解码过程中能够产生指导重建的边信息,边信息可以对源信号的退化过程进行有效估计。根据图像/视频等视觉信号的固有特性,自然视频图像的先验模型也可以约束源信号的真实解空间,将该病构性问题转化为适应性问题。综上所述,压缩图像/视频的插值和重建技术是数字视频图像处理领域有理论意义的研究课题。本文以压缩码流边信息和视频图像的先验模型作为出发点,重点针对压缩视频图像的插值问题和压缩感知视频图像的重建问题展开深入的研究。具体研究内容分为以下四个部分:第一,提出了一种基于局部自回归模型和非局部自相似模型的正则化的压缩图像插值技术。通过分析压缩图像码流的边信息,我们推导出压缩图像变换域系数的置信区间,并以此提出了基于变换域的软数据精度项。基于图像的局部和非局部特性,我们联合两种互补的图像先验模型:局部自回归模型和非局部自相似模型,作为联合的正则化约束。不同于传统的只利用高低分辨率之间几何二元性的自回归模型,我们提出了一种自适应加权的在高分辨率图像上迭代的自回归模型;而在非局部的自相似模型中,我们用相似块组变换域的稀疏性来对非局部相似块组进行统一约束。结合我们提出的软数据精度项和局部非局部联合的正则化约束,我们提出压缩图像插值的优化目标函数,并采用分裂布莱格曼方法来求解。实验数据表明,我们提出的方法相比于一些经典的对比方法在主观和客观效果上均具有一定的质量增益。第二,提出了一种基于方向性的压缩视频插值技术。传统的源视频插值技术直接应用于压缩视频时,插值视频效果往往不尽如人意。其原因是忽略了压缩视频码流中的边信息。通过借鉴视频帧内预测技术和边缘指导的插值模型,我们提出了基于方向性的压缩视频(帧内编码帧和帧间编码帧)插值技术。整体压缩视频插值框架充分利用压缩码流的空域和时域边信息。对帧内编码帧(I帧)来说,插值滤波器利用了帧内方向性纹理的预测模式信息的指导作用。针对每一个帧内方向预测模式,我们在训练集上(经典视频序列及其对应的低分辨率压缩视频)训练出相对应的优化插值滤波器,所以插值滤波器能通过帧内方向预测模式自适应选择。而且,量化因子作为码流边信息也参与到插值滤波器的训练与选择。对帧间编码帧(P帧和B帧)来说,帧间预测模式是获取图像块运动向量的信息,该向量指向与当前块的纹理相似的参考块。每一个帧间帧中的插值像素,其插值滤波器由对应参考像素的纹理方向决定。第三,提出了一种基于局部结构化随机矩阵的图像压缩感知重建技术。通常,高斯随机矩阵被广泛应用于压缩感知技术,但是该矩阵存在以下问题:一是该矩阵是复杂且非稀疏的矩阵,导致了计算复杂度很高且不利于硬件实现;二是该矩阵具有全局随机性,导致由其映射产生的测量值也具有高度的全局随机性,使得测量值的编码效率很低。故,我们利用图像的局部平滑特性,设计了具有局部结构化特点的随机采样矩阵。该矩阵有两个优点,一是其高度稀疏,利于硬件实现且在低码率下的重建效果优于高斯随机矩阵;二是测量值的相邻元素之间具有很强的相关性,该相关性被利用来增强编码效率。进而,我们设计了基于局部结构化的随机矩阵的整体编码框架,包括:测量值的生成,测量值的编码和图像的压缩感知重建。在重建时,通过分析压缩码流的边信息,我们提出了一种基于测量值置信区间的软解码重建方法,其在低码率下相比于传统的重建方法具有更好的重建效果。实验数据表明,我们提出的方法相比于一些经典的对比方法在主观和客观效果上均具有一定的质量增益第四,提出了基于层次帧的时空域结合的视频压缩感知重建技术。在编码端,不同于传统的各帧同采样率的压缩感知视频编码,我们设计了层次帧的采样策略,在编码端不同层次的帧采用不同的采样率,以便于更好的利用空域相关性来增强视频的重建质量,同时减轻了误差漂移对视频重建的影响。在解码端,我们提出了时空域相结合的视频重建技术。在该时空域模型中,考虑到视频的时域相关性和空域相关性特性,我们将具有相似纹理的时空域的图像块组成一个图像块组,并将组内块在自适应字典下的稀疏表示作为该视频重建技术的先验约束。而且,通过分析压缩码流的边信息,我们提出了一种基于测量值置信区间的软数据精度项。联合时空域先验约束和软数据精度项,我们提出了正则化的目标函数,进而采用分裂布莱格曼方法迭代求解该目标函数。我们提出的方法相比于对比方法在客观效果上具有一定的质量增益。综上,本文针对压缩视频图像的插值问题和压缩感知视频图像的重建问题提出了以压缩码流边信息和视频图像的先验模型相结合的插值和压缩感知重建技术,实验表明我们提出的方法相比于一些经典的对比方法在具有一定的质量增益。
其他文献
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
新课程改革提倡“材料式”的教材观,教材作为一种重要的教学资源而存在。如何既利用好教材,又充分利用已有的或可以创造的教学资源,以适应教学需求和学生学习需求成为教学设计中
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
<正> 房地产交易因其涉及财产价值大、手续程序繁多,极易发生各类纠纷。有关专家建议消费者可采取以下5条对策来减少交易中的纠纷: 一、购房前充分了解调查市场,了解欲购物业
随着计算机技术以及传感器技术的发展,视频采集技术不断提高,所采集、存储的视频数量日益增长,对海量视频数据的处理需求推动了智能视频分析技术的快速发展。视频目标跟踪作
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
业绩承诺协议近年逐渐成为推动上市公司并购重组完成的重要契约安排,但实践中仍存在业绩承诺协议无法履行甚至条款变更的情况。本文基于信息不对称理论,以2011-2015年A股市场
桥梁及隧道工程施工阶段存在各类风险性因素,风险评估能够分析发生施工安全事故的可能性以及事故造成的后果和损失。论文研究了桥梁与隧道施工安全风险评估方法,推导了目前风
扩散光学层析成像技术(Diffuse Optical Tomography,DOT)是一种新兴的无创光学成像技术,因其能够提供可以量化的功能性信息而日益受到人们的关注。生物组织的高散射低吸收特
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield