大规模视频转码调度算法的研究与设计

来源 :湖南科技大学 | 被引量 : 0次 | 上传用户:Michaelyfj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着国家大力推进互联网、广播电视网、移动网的三网融合,有越来越多的视频数据需要畅游于三网之间。然而,三网间网络带宽、播放设备以及播放软件各不相同,因此需要对视频进行转码。但三网间有着规模高达百亿级的视频文件,其转码任务的存储量达到100PB级,转码任务的计算量也达到P级,如此大的存储量和计算量,无法依靠单台计算机来实现。本文提出了一种通过计算机集群系统的解决方案。首先研究了集群的体系结构,集群的特点,集群的分类和几种常用的集群调度算法,并针对视频转码的特殊背景,选择LVS(Linux virtual Server)作为集群的解决方案,通过剖析LVS的内部机制、调度算法的比较和算法的分析,提出了一种针对视频转码的改进型动态负载均衡算法:ADLBA算法(Advanced Dynamic Load Balance Algorithm)。ADLBA算法分为调度器端和节点端两个部分。调度器会定期收集各个计算节点实时的CPU信息和内存信息,获得每个计算节点的真实负载。同时,根据视频格式间相互转换时所需的资源需求,制定转码系数表,确定视频任务对资源的预期需求。最后调度器根据节点真实负载和任务的预期资源需求计算得出一个综合负载需求,选择综合负载最小的计算节点来调度。在节点端,算法通过优先级反馈队列的设置,来进行任务排队队列的管理,并选择优先级最高的任务到CPU上执行。最后,本文完整实现了ADLBA算法,并搭建了集群系统环境,通过与WLC算法在任务运行时间、平均等待时间和平均CPU利用率等方面的比较,验证了ADLBA算法的有效性。
其他文献
社交网络上的人物社会关系是分析人物网络行为的一类重要信息,如何高效准确地从社交网络上抽取人物关系信息,是本文研究的重点本文首先提出一种基于特征提取的人物关系分类的改
随着人口的增长和社会经济的快速发展,社会对土壤的产出比不断加大。在投入一定的情况下怎么提高土壤的产出已是当前精准农业主要解决的问题。数据挖掘致力于解决从海量数据
近年来,利用手机终端进行产品推介已经在许多工业产品、餐饮、娱乐、旅游等产品中得以实现,但就农产品领域来说,还处在一种摸索、起步的阶段。由于农产品的产销过程环节多、复杂
学位
无线传感器网络是由大量具有无线通信与计算能力的微小传感器节点构成的自组织分布式智能系统,它综合了传感器技术、微机电技术、嵌入式计算机技术和现代无线通信技术,成为了
无线Mesh网是一种新型宽带无线接入系统,可以看作是WLAN和移动AdHoc网络的融合,具有可靠性、自组织性和自愈性等特点。由于无线Mesh网络拓扑结构的动态变化以及无线信道的不稳
随着计算机网络的迅速发展,计算机网络技术的应用越来越广泛,其规模也越来越庞大;安全事件层出不穷,安全形势日益严峻。信息安全态势相关技术能够综合各安全因素,全面、整体地反映大规模网络的信息安全状况,并能够对其发展趋势进行预测。目前,信息安全态势的相关技术研究已经成为网络信息安全领域的研究热点。本文概述了电力信息安全态势研究的基本内容,设计并且实现了电力信息安全态势分析系统,该系统所包含的功能模块自下
在当今信息化高度发达的社会里,人们可以享受到信息化技术所带来的诸多便利,如网上购物、网上银行、远程办公等。同时,各种各样的非法信息,如色情、暴力、反动、封建迷信等,也通过
农业机械化是现代农业的重要基础。在我国,农机作业服务十分普遍,但由于农机作业受价格、天气、面积、距离、路况、作业能力等诸多因素影响,仍然存在着作业地点盲目选择、作业成
作者识别是一个应用广泛的研究领域,可以应用于中外文学作品的作者考证领域,也可以应用于版权保护、恶意邮件识别等信息安全领域。对于近年来在文学创作、论文写作等学术领域