调度算法在云计算资源分配中的应用研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:gnbvbklvcbc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算是一种商业化计算模型,能够将超大规模计算和海量存储能力通过网络提供给用户,就像水、电和煤气一样,取用方便,费用低廉。如何将云计算的资源合理有效地分配给用户,减少作业执行时间和提高资源利用率,是调度算法需要研究和解决的问题。因此,对云计算调度算法进行研究具有非常重要的现实意义。本文对云计算调度算法的研究背景和研究现状进行分析,指出当前云计算调度算法存在的不足,并提出了相应的解决方法。  首先,对云计算调度算法的关键技术进行分析研究。本文对Hadoop系统及其关键技术进行分析,加深对HDFS和MapReduce工作原理和执行过程的理解。深入分析了调度算法和它实现的目标,比较了经典调度算法的性能,并改进了一种启发式表调度算法(Heuristic list scheduling,简称HLS)来提高Hadoop集群资源利用率和作业响应时间。  其次,通过对Hadoop系统的特点和不足进行分析,设计了一种基于任务预分配的表调度算法(List Scheduling based Task Preassigned,简称LSTP)来解决云计算资源分配问题。本文使用概率论知识对Hadoop日志信息进行分析,评估并获得每个节点执行速度和节点间通信速率。根据 DAG调度和 MapReduce任务分配模型,设计出LSTP算法调度模型并确定Map和Reduce任务的优先级。然后,改进一种最早开始时间搜索算法为每个任务找到最佳的工作节点并将该任务映射到该工作节点。为每个工作节点设计一个预分配任务槽来扩大系统的吞吐量和实现任务的优化调整,解决任务预分配时产生的分配不均或者“热点”问题,并对LSTP算法的时间复杂度进行分析。  最后,在实验室搭建异构Hadoop集群并在该集群上对LSTP算法进行了验证。分别在配置有FIFO、HLS和LSTP算法的异构Hadoop集群上运行经典的基准程序WordCount、Sort和TeraSort来对作业响应时间进行分析。实验验证了LSTP算法在响应时间和系统资源利用率上明显优于FIFO和HLS算法。
其他文献
随着电力电子技术和控制技术的不断发展、控制理论的不断成熟以及计算机嵌入式技术和工业制造技术的不断进步和完善,交流伺服控制系统的性能不断提高,不断应用于生产生活的各
本文首先对群体智能算法做了概述,深入研究了群体智能算法的原理和特点,在此基础上提出了改进智能优化算法,引入交叉算子到量子粒子群算法来保持算法在搜索后期的多样性,使算
随着信息技术的飞速发展,电子数据正在以爆炸般的速度膨胀,而企业管理者只需要看到海量数据中的有用信息,也即由这些数据聚合而成的报表,方便做出正确的决策。由此带来的是对
无线传感器网络是近年来发展起来的一种新型数据获取技术,被列为21世纪改变世界的十大技术之一,而作为无线传感器网络支撑技术之一的定位是该领域的一个研究热点。由于RSSI可
更高速率传输,更大系统容量,更广业务覆盖,更合理资源分配,已经成为未来移动通信发展的主流趋势和演变目标。下一代网络发展的核心宗旨是满足日益增长的用户需求,实现更高的
随着互连网在中国的迅速发展,网络结构日渐复杂。电信运营商需要通过可靠、有效的网络业务流量监测系统对其网络进行及时、准确的流量分析,进而挖掘网络资源潜力,控制网络互
云计算的特点是具有强大的计算能力和存储能力,而云安全是将防病毒技术与云计算技术相结合的一种网络安全技术。入侵检测技术在网络安全技术中占有重要地位,但目前的入侵检测