视频编码中帧间预测技术研究

来源 :浙江大学 | 被引量 : 1次 | 上传用户:ligang_nc1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在信息化高度发展的当今社会,视频数据成为了主要的多媒体数据形式。人们对宽色域、高清晰度、高分辨率的视频需求日益高涨,这对视频数据的存储、传输造成极大的负担。应用现状对视频压缩提出了更高的要求,探索更高编码效率的压缩技术成为国内外研究的重点问题。本文致力于提高视频编解码中帧间预测技术的编码效率,并主要从提高运动矢量的预测准确度和提高预测块的预测准确度两个方面着手,主要工作和贡献包括以下几个方面:
  1.提出基于虚拟运动矢量的运动矢量预测机制,解决长期参考机制下运动矢量预测值候选项不足的问题。长时运动矢量和短时运动矢量相关性弱,在现有的视频编码技术中,两者不能交叉预测,这将导致运动矢量预测值候选项不足。为此,我们利用重建像素在参考帧上进行运动搜索导出缺失类型的运动矢量,导出的运动矢量为虚拟运动矢量。这样保证每个编码块重建完成后同时具有长时运动矢量和短时运动矢量。后续块进行运动矢量预测编码时,可从任一相邻块选择同类型的MV进行预测。同时,由于真实运动矢量置信度高于虚拟运动矢量,我们提出了基于置信度的运动矢量预测值构造机制,使得编码性能提升1%。
  2.提出了基于空间相邻像素的自适应双向加权预测技术.提高双向预测块的准确度。在研究过程中,我们发现在merge/skip模式的双向预测中的两个参考块与当前块的相似度会存在明显差异,双向加权预测的最佳权重值在所有候选值上呈现均匀分布。这说明一个特定的权重并不适合所有图像块。我们提出了基于空间相邻像素的自适应双向加权技术。通过理论分析,我们发现两个参考块与当前块的相似度的比值与最优权重间存在对数关系。由于当前块像素值未知,当前块空间相邻像素与参考块空间相邻像素的相似度用于估计当前块和参考块的相似度。为相似度更高的参考块分配更大的权重,自适应双向加权预测技术可获得0.5%编码性能提升。
  3.提出了利用空间信息的基于卷积神经网络的双向预测技术。在上述自适应双向加权技术中参考块内的不同像素点共享同一权重,当图像块内存在物体遮挡、阴影时,块级双向加权技术会产生具有结构特性的预测残差。本文拟采用神经网络对双向块进行融合,利用图像的纹理信息实现像素级的自适应加权预测。同时,本文第二个研究点证明空间相邻像素有助于提高双向预测准确度。因此,我们将空间相邻像素、参考块信息作为网络输入,输出最终的预测块。输入的空间相邻像素具有如下作用:1)当前块的空间相邻像素的引入可以提高预测块边界处的准确度;2)估计当前块与两个参考块的相似度,为相似度高的块分配较大权重,提高合成块准确度;3)估计当前块与参考块的时域变化修正单向参考块,从而提高合成块的准确度。利用空间信息的基于卷积神经网络的双向预测技术将编码性能提高3%。
  4.提出了利用时域距离和空间信息的基于卷积神经网络的双假设预测技术。在现有常用的编码结构中,两个参考块可能来自同一预测方向,可能来自两个方向。时域信息的引入可以使得基于卷积神经网络的双假设预测技术对内插和外插进行统一处理。同时,由于时间距离近的视频帧的相关性高,将时域距离引入神经网络可以提高编码性能。进一步地,我们探索了不同帧间模式下,使用码率一失真优化选择基于卷积神经网络的双假设预测技术的必要性。本技术将编码性能提升了5%。我们将双向光流补偿技术与基于卷积神经网络的双假设预测进行耦合,进一步提高了编码性能,
  一方面,本文提出的虚拟运动矢量在长期参考机制下提供更准确的运动矢量预测值,提高了帧间运动矢量编码效率。另一方面,本文针对双向预测提出块级、像素级自适应加权技术增强帧间预测像素值的准确度。
其他文献
“为了做好教育真心倾家荡产了,却是这样的结果,好遗憾好后悔。”  国庆长假的最后一天,一张署名精锐教育张熙的朋友圈截图流出,文字悲观,言语间满是懊悔:“好想重头再来,愿有来生,再不创业。”  10月8日,精锐教育澄清,网传截图为假,不是张熙的朋友圈。张熙公开立下flag,“要做率先转型成功的教育企业”。  无论自曝截图真假与否,精锐教育处于危机边缘却是事实。这家主打高端K12一对一的教育公司,两年
期刊
人脸识别是生物特征识别技术的一种,随着近半个多世纪的发展,人脸识别已经开始利用到了社会生活当中,凭借其友好、易于采集等优势,越来越受到大家的关注,当前人脸识别已经成功应用到了社会生活中的很多领域,比如火车站的入口检测、刷脸购物、追踪犯罪人员等。但是人脸识别仍然面临着很多问题,识别效果容易受到外部复杂环境变化的影响。提取人脸的局部特征进行识别是一种效果突出的方式,韦伯局部描述符(WLD特征)是一种典
天猫商城调味品辣椒酱排名,8月的前三甲为禧宝制研、陶华碧老干妈、虎邦辣酱。  禧宝制研是一个成立不足一年的新品牌,它以8万的月销量,当月与“老干妈”站在了一起。创始人陈与寻在调味品领域浸润多年,曾为国家一级中式厨师、米其林餐厅调味师,自己开了数家餐厅。  2021年初,创立禧宝制研后,他以创意拌饭辣酱切入市场,从微信私域流量起步,积累一定口碑和客群后,布局天猫、抖音、小红书等线上渠道。靠独特口味,
期刊
东北的铝业龙头,顷刻崩塌。  10月15日晚,中国忠旺发布公告,下属的忠旺精制、辽宁忠旺“出现严重经营困难,已无法依靠自身力量解决当前问题”。  辽宁忠旺是忠旺系核心的业务主体,何种经营困难、具体缘由、亏损数额,并无进一步解释。同日,3名独立非执行董事全部辞任。  忠旺于1993年成立于辽宁,是亚洲最大的工业铝挤压产品研发制造商,年营收为200亿元,缔造者为刘忠田。  刘忠田颇为传奇,他本农民出身
期刊
随着消费水平和生活水平的提高,消费类电子市场也在蓬勃发展,在市场的拉动下,消费者对便携式电子设备的要求也越来越高。人们在享受生活时,便携式电子设备由于具有功能多样、方便使用等优点而受到青睐。音频功率运算放大器作为电子产品中的基本器件之一,其性能的好坏直接决定了产品的市场竞争力。目前,如何设计出一款具有低功耗、高性能和体积小等优势的音频功率运算放大器已经成为了研究热点。本文的研究工作主要包括以下两个
姚嘉诚第一次思考植物基食品的意义,是在两年前的一次冥想活动中。  1977年出生于多伦多的他,成长于香港,耶鲁大学毕业后,曾担任纽交所上市公司YEXT的中国业务创始人兼董事总经理。在起源于佛教的瑜伽冥想练习中,他从繁忙的工作中抽离,有了新思考。  “以前我的消费习惯总是从自身出发,但那之后我的目标是一个可持续的、更值得后代继承的世界,我希望投入到一个‘human project’中去。” 现任优脍
期刊
共享充电宝行业进入多强竞争的下半场。  弗若斯特沙利文的数据显示,2021年上半年,竹芒科技、怪兽和小电的点位规模分列共享充电宝行业前三。  竹芒科技是街电、搜电的母公司,2021年4月,两大共享充电宝品牌合并,并组建了该全资控股母公司,董事会由双方的管理团队与投资机构共同组成。  合并前,街电已完成多轮融资,其中包括聚美优品3亿元战略投资,品牌以直营模式覆盖全国超95%城市,总用户数接近3亿;搜
期刊
K12教培在重锤下凉凉,一个教育赛道在迎来利好。  针对义务教育和校外培训,《关于进一步减轻义务教育阶段学生作业负担和校外培训负担的意见》的落脚在负担的减轻。  针对职业教育,10月中旬出台了《关于推动现代职业教育高质量发展的意见》,落脚在高质量发展。这份意见明确提到,鼓励上市公司、行业龙头企业举办职业教育。  两份文件都由“两办”直接印发,代表了最高层的意志,一收一紧,直接左右了两家公司的命运。
期刊
“2015年到2017年,没有同行在做同样的事。”XSKY星辰天合创始人、CEO胥昕回望创业最初3年,公司走了一条艰难、且无法确定是否正确的创业之路,直到2017年,华为等知名厂商进入。  胥昕在接受《21CBR》记者专访时称,“华为把软件定义存储(SDS)当主航道来做,我们是很兴奋的”。他表示,行业巨头入局,说明自己这支“没做过存储”的创业团队,把握准了趋势。  创办于2015年的星辰天合,是一
期刊
随着人们对视觉内容的消费需求越来越高,互联网中视频数据的储量呈爆炸式增长。海量视频的存储和传输消耗着大量的存储和带宽资源。为了降低视频数据量,视频编码方案使用了层出不穷的高效技术以提升编码效率。但是为了支持灵活的随机访问,视频码流中存在着很多随机访问点,它们将码流分割为多段相互独立的随机访问片段。由于不能相互参考,随机访问片段之间的冗余信息无法被有效剔除,以至于不能进一步提升编码效率。
  实际上,在很多视频中,随机访问片段在大跨度的时间间隔内存在着反复出现的背景或对象。为了利用这种大跨度的相关信息