基于动态调频技术的数据中心任务调度问题研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:jweblogicdownload
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了给用户提供相应的服务,数据中心的服务器每天都运行处理着大量的任务。近年来,随着数据中心规模的快速增大,数据中心的高能耗问题已经变得非常严重。一个严峻的事实是全世界百分之一点三的电能用于维持数据中心的运行。此形势下在数据中心中实现高能效比的任务调度变得刻不容缓。动态调频调压(Dynamic Voltage Frequency Scaling,DVFS)技术是一种能够允许处理器动态调节主频,使得CPU处于合适的主频设置从而达到节省功耗的技术。目前,基本上所有的硬件厂商生产的处理器均支持DVFS技术。为了消除不同硬件厂商的差异性,一般来说用户都是通过软件模块如Linux内核模块中的cpufreq来调用DVFS,其调用方法统一且简单。然而,在数据中心这一规模的任务调度问题中,对于一个总的给定的任务负载量,低的主频设置使得每个处理器的计算能力下降,这会使得需要更多的服务器来处理这些任务。这种设定下对需要使用的机器的个数和每台机器的主频设置做好一个折中,这是非常有挑战性的工作。本文对基于DVFS技术的任务调度问题的进行了定义,并提出了一些对服务器个数和主频设置做折中的解决方案。更进一步的是,本文通过分析在一个真实的集群中收集的大量真实的实验数据,提出了新的基于DVFS技术的性能模型和功耗模型,并基于此重新定义了以最小化功耗为目标的基于DVFS技术的动态任务调度问题,通过规约法证明其难度是NP难的,且提出了相应的算法来解决问题。本文的工作按照如下的步骤展开。首先本文设计了一个模拟的实验场景,场景模拟出几百台服务器的规模来进行任务调度,这其中服务器的功耗数据也是来源于真实的数据。通过多次实验得出一个结论,使用最少数量的服务器往往不能得到最少的功耗,这与一般的观点使用最少数量的服务器最节能并不一致。其次,通过对前人相关工作的分析总结,本文发现,传统的基于DVFS技术的功耗模型并不精确。在大量真实的数据的支持下我们提出了一个新的基于DVFS技术的功耗模型,该模型将处理器的主频和利用率均考虑在内,实验结果表明这是一个更为精确的功耗模型。在新模型的基础上,本文重新定义了任务调度的问题定义并提出相应的解决思路。在解决方案的部分本文提出了一个名为功耗感知的阈值单位(Power-aware Threshold Unit,PTU)算法对数据中心中的任务做动态的在线调度。PTU算法的核心思想来源于阈值控制思想和数据中心以机架为单位来控制管理服务器的事实这两个方面。PTU算法在一个多服务器个数的单位(若干台服务器,如一个机架)中对于每台服务器尽可能的限定了统一的最大的主频上限,即这个单位中所有的服务器其主频均不能超过某一个值,如果新的任务无法被满足时,统一提高该单位的这个阈值。本文在一个由多核服务器组成的集群中完成了大量真实的实验。就我们所有的知识而言,本文是第一个提出这种新的基于DVFS技术的功耗模型。真实场景中的实验结果验证了新的基于DVFS技术的功耗模型的准确度。值得一提的是,在真实场景中实现的PTU算法可以得到与传统算法中最节能的PBF(Power-aware Best Fit)算法相似的功耗节省,并具有可根据数据中心实际的机架为单位的特点实际部署的潜力,获得更好的节能效果。
其他文献
该文提出采用混合测试策略,利用数据挖掘技术挖掘有指导测试意义的规则,从技术上缩短测试序列,加快诊断速度.首先,该文在介绍基于模型诊断主要思想、测试的基本理论和数据挖
图像分类是机器学习的一个重要应用。它不仅可以给其他图像相关任务如检索,物体检测提供支持,并且在实际应用中也有着广泛的需求。一般来说图像分类的泛化性能不但和分类器的
该文深入分析了企业信息化发展历程、存在问题以及企业信息化的意义和内涵,研究当今现代化的社会环境中大型企业信息化建设的总体需求,总结具有一定投资银行性质的知识型、专
防火墙,作为网络安全必需的基础设备,其技术在过去的近十年里也经历了不断的完善和更新。功能上和性能上的需求是当前防火墙发展的两个主要方向。本文选取病毒过滤和负载均衡两
质量控制是伴随着制造业的发展而发展起来的,但科学的质量控制方法在二十世纪初才形成.我们所研究的质量控制是指为达到质量要求所采取的作业技术和活动.如果以制造过程来区
随着我国空间科学技术的发展与空间科学研究的深入,航天器、有效载荷和其它星上设备的数量不断增多。同时,空间科学实验的过程变得越来越复杂,下行数据总量越来越大,下行速度越来
该文就支持发动机CAD协同设计的工程数据库系统(EDBECAD)中的有关技术问题进行了深入的应用研究,主要工作包括以下几个方面:(1)建立了发动机CAD工程数据库,在其中存储了发动机总体
该文论述了广域网模拟系统的设计,包括网络拓扑设计、网络模拟和性能评价系统.在研究排队理论的基础上,建立了广域网的评价指标体系和分析评价模型,设计了网络性能优化算法.
人类视觉是人类存在并能良好繁衍生息的重要感知能力,随着人类生活的不断进步,数字媒体技术越来越多的进入人们的生活,由此产生了大量的数字媒体资料,如图像、视频等。人们对
该文主要工作包括以下几个方面:在原有各种企业诊断方法的基础上,提出了一套基于模型的企业诊断方法.该方法以模型作为诊断的基础,在实施过程中又涉及到了规则诊断以及专家诊