论文部分内容阅读
随着人们对视觉内容的消费需求越来越高,互联网中视频数据的储量呈爆炸式增长。海量视频的存储和传输消耗着大量的存储和带宽资源。为了降低视频数据量,视频编码方案使用了层出不穷的高效技术以提升编码效率。但是为了支持灵活的随机访问,视频码流中存在着很多随机访问点,它们将码流分割为多段相互独立的随机访问片段。由于不能相互参考,随机访问片段之间的冗余信息无法被有效剔除,以至于不能进一步提升编码效率。
实际上,在很多视频中,随机访问片段在大跨度的时间间隔内存在着反复出现的背景或对象。为了利用这种大跨度的相关信息,前人提出基于场景知识库的视频编码方法,通过引入包含多样场景内容的外源知识图像库,为主视频中包含相似场景的随机访问片段提供外源参考信息。然而,外源知识图像带来了两方面的问题。一方面,在编码层,生成获取的知识图像的内容和质量会极大地影响视频编码的效率,而获取内容多样又存储精简的最优知识图像集会消耗很多的计算时间,这为其在海量视频的压缩上带来了阻碍,如何快速地获取最优知识图像是在编码层获得编码性能增益的一个关键问题;另一方面,在系统层,外源知识图像在大跨度时间上的交替共享使用为视频码流的随机访问的实现和传输效率的提升带来了严峻的挑战,如何处理知识图像和主视频中随机访问片段之间的紧凑存储和高效传输,是保持编码层获得的编码效率增益的另一个关键问题。
本文对这种使用大跨度外源参考信息的视频编码方法(简称大跨度编码)进行了深入全面的分析,并针对外源知识图像在编码层的高效获取和在系统层的高效存储传输等关键问题开展了研究工作,取得了以下创新性的研究成果:
在编码层,本文着眼于最优知识图像的选择问题。一方面在复杂度受限的情况下,减低大跨度编码的计算复杂度,使其适用于长时视频的高效编码;另一方面在码率受限的情况下,提升大跨度编码的最优编码性能,使其更具有竞争力:
1.本文提出一种基于众包的最优知识图像集选择方法。该方法根据知识图像和主视频的联合率失真优化,将最优知识图像选择的问题转化为物理意义上相一致的众包理论中的用户选择问题,使用优化算法快速求解得到能够提供最多参考信息且占用最少数据量的最优知识图像集。与已有的基于知识库的视频编码方法相比,该方法在长时的电视剧序列上的编码复杂度降低超过20%,并仍可以比HEVC获得近28%的编码性能增益。
2.本文提出了一种基于局部失真传递的知识图像质量调整方法。该方法根据主视频中随机访问片段和知识图像之间的依赖关系,建立图像块级的局部失真传递链,得到知识图像的失真传递权重,用以调整知识图像的质量。该方法能够在不引入过多知识图像数据量的前提下自适应调整知识图像中不同区域的质量,在上述基于众包的编码方法上进一步获得4%左右的编码性能增益。
通过这两方面的编码层优化,大跨度编码方法在HEVC通用测试序列上能够获得lg%以上的编码性能增益,在长时电视剧序列上能够获得38%以上的编码性能增益。
在系统层,本文针对使用大跨度编码的视频在本地存储播放和流媒体传输,解决主视频和知识图像联合的存储文件格式和同步传输,在保证系统层操作简便的同时,实现使用大跨度编码的视频在大规模视频服务应用中的紧凑存储和高效传输。
1.在存储文件格式方面,本文提出一种基于样本群组的大跨度文件格式,该方法将主视频图像按照其参考的知识图像进行分组归类,实现主视频图像和知识图像之间的外源依赖关系描述。与现有基础文件格式相比,该方法避免了知识图像数据在存储文件中的重复,能够紧凑地实现主视频与知识图像的联合存储。
2.在流媒体传输方面,本文提出一种基于片段索引的大跨度传输方案。该方法在片段索引中增加主视频图像与知识图像之间的外源依赖关系,使得接收端能够快速解析外源依赖关系以实现主视频图像和知识图像的同步传输。同时,本文还提出一种知识图像缓存管理方法,根据知识图像的重要性管理其存储和更新,提升知识图像的重用率,从而降低知识图像在随机访问点的重复传输和重复解码的次数。这解决了现有流媒体传输方案只能多次重传和重解码知识图像的问题。相较于引入额外传输数据量和解码时间的现有传输方案,我们提出的传输方案能够减少45%的传输码率,并降低9%的解码时间,充分发挥大跨度编码的效率。
基于以上两种系统层的方法,我们能够实现系统层对大跨度编码的视频的便捷高效操作,同时不会为外源知识图像的使用消耗额外的存储、带宽和解码资源。
实际上,在很多视频中,随机访问片段在大跨度的时间间隔内存在着反复出现的背景或对象。为了利用这种大跨度的相关信息,前人提出基于场景知识库的视频编码方法,通过引入包含多样场景内容的外源知识图像库,为主视频中包含相似场景的随机访问片段提供外源参考信息。然而,外源知识图像带来了两方面的问题。一方面,在编码层,生成获取的知识图像的内容和质量会极大地影响视频编码的效率,而获取内容多样又存储精简的最优知识图像集会消耗很多的计算时间,这为其在海量视频的压缩上带来了阻碍,如何快速地获取最优知识图像是在编码层获得编码性能增益的一个关键问题;另一方面,在系统层,外源知识图像在大跨度时间上的交替共享使用为视频码流的随机访问的实现和传输效率的提升带来了严峻的挑战,如何处理知识图像和主视频中随机访问片段之间的紧凑存储和高效传输,是保持编码层获得的编码效率增益的另一个关键问题。
本文对这种使用大跨度外源参考信息的视频编码方法(简称大跨度编码)进行了深入全面的分析,并针对外源知识图像在编码层的高效获取和在系统层的高效存储传输等关键问题开展了研究工作,取得了以下创新性的研究成果:
在编码层,本文着眼于最优知识图像的选择问题。一方面在复杂度受限的情况下,减低大跨度编码的计算复杂度,使其适用于长时视频的高效编码;另一方面在码率受限的情况下,提升大跨度编码的最优编码性能,使其更具有竞争力:
1.本文提出一种基于众包的最优知识图像集选择方法。该方法根据知识图像和主视频的联合率失真优化,将最优知识图像选择的问题转化为物理意义上相一致的众包理论中的用户选择问题,使用优化算法快速求解得到能够提供最多参考信息且占用最少数据量的最优知识图像集。与已有的基于知识库的视频编码方法相比,该方法在长时的电视剧序列上的编码复杂度降低超过20%,并仍可以比HEVC获得近28%的编码性能增益。
2.本文提出了一种基于局部失真传递的知识图像质量调整方法。该方法根据主视频中随机访问片段和知识图像之间的依赖关系,建立图像块级的局部失真传递链,得到知识图像的失真传递权重,用以调整知识图像的质量。该方法能够在不引入过多知识图像数据量的前提下自适应调整知识图像中不同区域的质量,在上述基于众包的编码方法上进一步获得4%左右的编码性能增益。
通过这两方面的编码层优化,大跨度编码方法在HEVC通用测试序列上能够获得lg%以上的编码性能增益,在长时电视剧序列上能够获得38%以上的编码性能增益。
在系统层,本文针对使用大跨度编码的视频在本地存储播放和流媒体传输,解决主视频和知识图像联合的存储文件格式和同步传输,在保证系统层操作简便的同时,实现使用大跨度编码的视频在大规模视频服务应用中的紧凑存储和高效传输。
1.在存储文件格式方面,本文提出一种基于样本群组的大跨度文件格式,该方法将主视频图像按照其参考的知识图像进行分组归类,实现主视频图像和知识图像之间的外源依赖关系描述。与现有基础文件格式相比,该方法避免了知识图像数据在存储文件中的重复,能够紧凑地实现主视频与知识图像的联合存储。
2.在流媒体传输方面,本文提出一种基于片段索引的大跨度传输方案。该方法在片段索引中增加主视频图像与知识图像之间的外源依赖关系,使得接收端能够快速解析外源依赖关系以实现主视频图像和知识图像的同步传输。同时,本文还提出一种知识图像缓存管理方法,根据知识图像的重要性管理其存储和更新,提升知识图像的重用率,从而降低知识图像在随机访问点的重复传输和重复解码的次数。这解决了现有流媒体传输方案只能多次重传和重解码知识图像的问题。相较于引入额外传输数据量和解码时间的现有传输方案,我们提出的传输方案能够减少45%的传输码率,并降低9%的解码时间,充分发挥大跨度编码的效率。
基于以上两种系统层的方法,我们能够实现系统层对大跨度编码的视频的便捷高效操作,同时不会为外源知识图像的使用消耗额外的存储、带宽和解码资源。