大跨度视频编码与传输体系研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:JIA814418
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人们对视觉内容的消费需求越来越高,互联网中视频数据的储量呈爆炸式增长。海量视频的存储和传输消耗着大量的存储和带宽资源。为了降低视频数据量,视频编码方案使用了层出不穷的高效技术以提升编码效率。但是为了支持灵活的随机访问,视频码流中存在着很多随机访问点,它们将码流分割为多段相互独立的随机访问片段。由于不能相互参考,随机访问片段之间的冗余信息无法被有效剔除,以至于不能进一步提升编码效率。
  实际上,在很多视频中,随机访问片段在大跨度的时间间隔内存在着反复出现的背景或对象。为了利用这种大跨度的相关信息,前人提出基于场景知识库的视频编码方法,通过引入包含多样场景内容的外源知识图像库,为主视频中包含相似场景的随机访问片段提供外源参考信息。然而,外源知识图像带来了两方面的问题。一方面,在编码层,生成获取的知识图像的内容和质量会极大地影响视频编码的效率,而获取内容多样又存储精简的最优知识图像集会消耗很多的计算时间,这为其在海量视频的压缩上带来了阻碍,如何快速地获取最优知识图像是在编码层获得编码性能增益的一个关键问题;另一方面,在系统层,外源知识图像在大跨度时间上的交替共享使用为视频码流的随机访问的实现和传输效率的提升带来了严峻的挑战,如何处理知识图像和主视频中随机访问片段之间的紧凑存储和高效传输,是保持编码层获得的编码效率增益的另一个关键问题。
  本文对这种使用大跨度外源参考信息的视频编码方法(简称大跨度编码)进行了深入全面的分析,并针对外源知识图像在编码层的高效获取和在系统层的高效存储传输等关键问题开展了研究工作,取得了以下创新性的研究成果:
  在编码层,本文着眼于最优知识图像的选择问题。一方面在复杂度受限的情况下,减低大跨度编码的计算复杂度,使其适用于长时视频的高效编码;另一方面在码率受限的情况下,提升大跨度编码的最优编码性能,使其更具有竞争力:
  1.本文提出一种基于众包的最优知识图像集选择方法。该方法根据知识图像和主视频的联合率失真优化,将最优知识图像选择的问题转化为物理意义上相一致的众包理论中的用户选择问题,使用优化算法快速求解得到能够提供最多参考信息且占用最少数据量的最优知识图像集。与已有的基于知识库的视频编码方法相比,该方法在长时的电视剧序列上的编码复杂度降低超过20%,并仍可以比HEVC获得近28%的编码性能增益。
  2.本文提出了一种基于局部失真传递的知识图像质量调整方法。该方法根据主视频中随机访问片段和知识图像之间的依赖关系,建立图像块级的局部失真传递链,得到知识图像的失真传递权重,用以调整知识图像的质量。该方法能够在不引入过多知识图像数据量的前提下自适应调整知识图像中不同区域的质量,在上述基于众包的编码方法上进一步获得4%左右的编码性能增益。
  通过这两方面的编码层优化,大跨度编码方法在HEVC通用测试序列上能够获得lg%以上的编码性能增益,在长时电视剧序列上能够获得38%以上的编码性能增益。
  在系统层,本文针对使用大跨度编码的视频在本地存储播放和流媒体传输,解决主视频和知识图像联合的存储文件格式和同步传输,在保证系统层操作简便的同时,实现使用大跨度编码的视频在大规模视频服务应用中的紧凑存储和高效传输。
  1.在存储文件格式方面,本文提出一种基于样本群组的大跨度文件格式,该方法将主视频图像按照其参考的知识图像进行分组归类,实现主视频图像和知识图像之间的外源依赖关系描述。与现有基础文件格式相比,该方法避免了知识图像数据在存储文件中的重复,能够紧凑地实现主视频与知识图像的联合存储。
  2.在流媒体传输方面,本文提出一种基于片段索引的大跨度传输方案。该方法在片段索引中增加主视频图像与知识图像之间的外源依赖关系,使得接收端能够快速解析外源依赖关系以实现主视频图像和知识图像的同步传输。同时,本文还提出一种知识图像缓存管理方法,根据知识图像的重要性管理其存储和更新,提升知识图像的重用率,从而降低知识图像在随机访问点的重复传输和重复解码的次数。这解决了现有流媒体传输方案只能多次重传和重解码知识图像的问题。相较于引入额外传输数据量和解码时间的现有传输方案,我们提出的传输方案能够减少45%的传输码率,并降低9%的解码时间,充分发挥大跨度编码的效率。
  基于以上两种系统层的方法,我们能够实现系统层对大跨度编码的视频的便捷高效操作,同时不会为外源知识图像的使用消耗额外的存储、带宽和解码资源。
其他文献
平安的寿险改革,已至中局。  “寿险代理人渠道改革非常艰难,难在要改变几十万人。”中国平安执行董事、联席CEO陈心颖这样谈及改革。  改革,重要的是改“人事”,平安深谙其道。  在招聘旺季10月,平安重磅推出人才招募计划“优+”,提供更“优”质的培养、待遇、发展和平台,为寿险代理人打造专属培养体系,帮助其更快地适应工作环境,完成人生进阶,成为未来的寿险精英和引领行业的“保险企业家”。  “聚天下英
期刊
“为了做好教育真心倾家荡产了,却是这样的结果,好遗憾好后悔。”  国庆长假的最后一天,一张署名精锐教育张熙的朋友圈截图流出,文字悲观,言语间满是懊悔:“好想重头再来,愿有来生,再不创业。”  10月8日,精锐教育澄清,网传截图为假,不是张熙的朋友圈。张熙公开立下flag,“要做率先转型成功的教育企业”。  无论自曝截图真假与否,精锐教育处于危机边缘却是事实。这家主打高端K12一对一的教育公司,两年
期刊
人脸识别是生物特征识别技术的一种,随着近半个多世纪的发展,人脸识别已经开始利用到了社会生活当中,凭借其友好、易于采集等优势,越来越受到大家的关注,当前人脸识别已经成功应用到了社会生活中的很多领域,比如火车站的入口检测、刷脸购物、追踪犯罪人员等。但是人脸识别仍然面临着很多问题,识别效果容易受到外部复杂环境变化的影响。提取人脸的局部特征进行识别是一种效果突出的方式,韦伯局部描述符(WLD特征)是一种典
天猫商城调味品辣椒酱排名,8月的前三甲为禧宝制研、陶华碧老干妈、虎邦辣酱。  禧宝制研是一个成立不足一年的新品牌,它以8万的月销量,当月与“老干妈”站在了一起。创始人陈与寻在调味品领域浸润多年,曾为国家一级中式厨师、米其林餐厅调味师,自己开了数家餐厅。  2021年初,创立禧宝制研后,他以创意拌饭辣酱切入市场,从微信私域流量起步,积累一定口碑和客群后,布局天猫、抖音、小红书等线上渠道。靠独特口味,
期刊
东北的铝业龙头,顷刻崩塌。  10月15日晚,中国忠旺发布公告,下属的忠旺精制、辽宁忠旺“出现严重经营困难,已无法依靠自身力量解决当前问题”。  辽宁忠旺是忠旺系核心的业务主体,何种经营困难、具体缘由、亏损数额,并无进一步解释。同日,3名独立非执行董事全部辞任。  忠旺于1993年成立于辽宁,是亚洲最大的工业铝挤压产品研发制造商,年营收为200亿元,缔造者为刘忠田。  刘忠田颇为传奇,他本农民出身
期刊
随着消费水平和生活水平的提高,消费类电子市场也在蓬勃发展,在市场的拉动下,消费者对便携式电子设备的要求也越来越高。人们在享受生活时,便携式电子设备由于具有功能多样、方便使用等优点而受到青睐。音频功率运算放大器作为电子产品中的基本器件之一,其性能的好坏直接决定了产品的市场竞争力。目前,如何设计出一款具有低功耗、高性能和体积小等优势的音频功率运算放大器已经成为了研究热点。本文的研究工作主要包括以下两个
姚嘉诚第一次思考植物基食品的意义,是在两年前的一次冥想活动中。  1977年出生于多伦多的他,成长于香港,耶鲁大学毕业后,曾担任纽交所上市公司YEXT的中国业务创始人兼董事总经理。在起源于佛教的瑜伽冥想练习中,他从繁忙的工作中抽离,有了新思考。  “以前我的消费习惯总是从自身出发,但那之后我的目标是一个可持续的、更值得后代继承的世界,我希望投入到一个‘human project’中去。” 现任优脍
期刊
共享充电宝行业进入多强竞争的下半场。  弗若斯特沙利文的数据显示,2021年上半年,竹芒科技、怪兽和小电的点位规模分列共享充电宝行业前三。  竹芒科技是街电、搜电的母公司,2021年4月,两大共享充电宝品牌合并,并组建了该全资控股母公司,董事会由双方的管理团队与投资机构共同组成。  合并前,街电已完成多轮融资,其中包括聚美优品3亿元战略投资,品牌以直营模式覆盖全国超95%城市,总用户数接近3亿;搜
期刊
K12教培在重锤下凉凉,一个教育赛道在迎来利好。  针对义务教育和校外培训,《关于进一步减轻义务教育阶段学生作业负担和校外培训负担的意见》的落脚在负担的减轻。  针对职业教育,10月中旬出台了《关于推动现代职业教育高质量发展的意见》,落脚在高质量发展。这份意见明确提到,鼓励上市公司、行业龙头企业举办职业教育。  两份文件都由“两办”直接印发,代表了最高层的意志,一收一紧,直接左右了两家公司的命运。
期刊
“2015年到2017年,没有同行在做同样的事。”XSKY星辰天合创始人、CEO胥昕回望创业最初3年,公司走了一条艰难、且无法确定是否正确的创业之路,直到2017年,华为等知名厂商进入。  胥昕在接受《21CBR》记者专访时称,“华为把软件定义存储(SDS)当主航道来做,我们是很兴奋的”。他表示,行业巨头入局,说明自己这支“没做过存储”的创业团队,把握准了趋势。  创办于2015年的星辰天合,是一
期刊