基于集群的并行AVS视频编码研究与应用

来源 :北京大学 | 被引量 : 0次 | 上传用户:gz20090907
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着视频分辨率的上升,移动互联网与互联网在线视频业的兴起,对视频编码技术带来了以下新挑战:超高清视频实时编码、海量多格式的视频编转码等。对普通多核处理器而言,很难满足其计算资源需求。随着高性能计算集群的发展,基于集群的并行视频编码成为了一个新的研究热点。问题是传统的视频并行编码算法如何与集群计算有机结合,从而实现高效的集群视频并行编码?  本文深入研究了视频并行编码算法、线程并行计算、进程并行计算的各自特性,提出了一种新型的基于集群的两级混合并行视频编码框架来解决上述问题。在上述编码框架中,进程并行与线程并行同时被应用,图片组(GOP)级的数据并行实现在进程上,同时同一进程内进行多线程并行编码。两级混合并行视频编码框架在几乎不带来编码质量损失的同时能获得良好的编码效率。基于以上编码框架,我们实现了一个AVS编码器。实验数据表明,编码器能实现4K视频序列的实时编码在单台普通服务器上。对于编码框架存在的较高编码延迟,本文提出可以通过一种改进数据输出方式来大幅降低视频并行编码延迟。  针对移动互联网中大规模视频转码的需求,本文实现了一个基于集群的AVS的大规模转码系统,此系统由高性能计算集群、AVS转码器与可视化的集群转码管理系统三部分构成。上述系统具备高性能计算集群的高性价比、易扩展性等优点;同时继承了FFMPEG开源转码框架的优点,并支持AVS视频编码标准的快速转码与多格式外部容器封装。同时,由于移动互联网视频转码中图像缩放的重要性,本文提出对图像插值算法进行多媒体指令集优化可以同时兼顾高转码速度与好图像缩放质量。  当下基于集群的视频转码是研究与工业应用热点,集群负载均衡可最小化批次性视频转码作业的整体结束时间,同时提高集群利用效率;但同时集群上多作业的负载均衡调度是NP难问题。通过分析集群调度算法与视频并行转码,基于集群的GOP级视频并行转码的调度问题可以被视作一个作业调度与应用负载可分调度的混合模型。为了获得次优解,一种新型的启发式算法在本文被提出,并命名为最长队列结束时间最小化算法。  在最长队列结束时间最小化算法中,首先高计算复杂度的作业被切分为多个子作业,然后所有作业基于负载均衡准则被重组为多个作业队列,每个作业队列对应集群的一个计算核心。在作业切分处理中,一种基于输入作业的计算复杂度与最大可切分粒度的自适应阈值切分算法被提出。基于上述算法,一种高效的集群视频并行转码框架被提出。实验数据表明,本文提出的算法明显优于现存的启发式算法,且整体结束时间接近于理论最优值,并对任务启动延迟有很好的鲁棒性。对于调度所需的视频转码作业执行时间预估,本文引用前人研究,论证了在基于编码参数与基于回归分析两类方向上建立视频转码计算复杂度的预估模型的可行性。  
其他文献
随着IT技术的高速发展,以GIS为代表的空间信息技术在各领域得到了应用,同时遥感等空间数据获取技术不断进步,现代社会对位置服务和分析决策的需要也日益迫切。此外,Google、Micro
目前监控摄像头在我们的生活中得到了广泛的应用,随之产生的一项挑战便是如何自动地在监控视频中检测感兴趣的事件。一方面,我们希望从过往的海量监控视频中快速地找到发生特定
随着传感器技术的飞速发展,多传感器系统在各个领域都得到了越来越广泛的应用。不同的图像传感器有着不同的成像原理、不同的感应波长范围和不同的应用环境及硬件要求。然而,单
当前,计算机应用软件越来越复杂,或多或少的都会有一些漏洞,比如缓冲区溢出。黑客可以使用病毒和特洛伊木马利用这些安全漏洞侵入计算机系统和获得他们的权限,然后访问敏感信息或
近年来人们提出了一种新的以内容为中心的网络架构——Named DataNetworking(NDN)。NDN网络架构取消了现有网络架构中位置的概念,直接使用名字访问数据,这种以内容为中心的设计
过去25年的商业DBMS发展用一个短语来概括:一刀切,即传统的关系型数据库架构适用于大部分以数据为中心的应用。随着大规模Web2.0网站的飞速发展,关系型数据库在满足高并发读写,
Android手机系统由于其易用和开放性,迅速占领了智能手机操作系统市场的最大份额。而其开放性也导致系统本身安全问题尤为突出。自2010年起大量Android恶意软件爆发式地发展
软件缺陷是对软件产品预期属性的偏离现象。它是影响软件质量的重要和关键因素之一。发现与排除软件缺陷是软件生命周期中的重要工作之一。软件缺陷的描述是软件缺陷报告中测
图像分割是将图像中具有特殊意义的不同区域分离开来,并使这些区域互不相交,且每个区域应满足特定区域的一致性条件。医学图像分割是图像分割中不可或缺的一部分。颅内肿瘤(Int
随着计算机网络与信息存储技术的飞速发展,网络存储技术大规模应用,无论是企业、政府还是个人都逐渐习惯利用网络存储系统进行数据的存储、备份以及共享。现有的网络存储系统安