数据中心能耗约束的资源管理技术研究

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:vonke
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的迅猛发展,大量的网络应用集中部署在数据中心内运行。网络应用和用户数量的飞速增长,导致数据中心的规模不断扩大,甚至达到了百万量级。能耗成为数据中心资源管理亟需解决的重要问题,也是近年来学术界、工业界研究的热点。数据中心资源管理面临高能耗、异构性和可扩展性等问题,如何在满足应用服务质量的前提下,优化同构型、异构型数据中心的能耗,是本文主要研究的能耗受限资源管理问题。  针对以上问题,本文介绍了数据中心能耗优化、资源调度等发展现状,在深入分析谷歌数据中心真实负载记录的基础上,提出了面向同构型和异构型数据中心的规模动态供应技术,该技术能够依据资源使用的历史信息,准确预测下一时间段内所需的资源量,并求解出数据中心的最佳规模,有效优化系统能耗;在数据中心规模确定的情况下,提出一种能耗与SLA惩罚代价感知的资源调度算法,通过资源的优化配置,算法能够降低数据中心的能耗;提出一种系统能耗受限的数据中心资源调度算法,优化多种优先级业务的平均调度延迟和响应时间。  本文主要贡献包括以下四个方面:  1、提出一种同构型数据中心的规模动态供应技术(Homogeneous Datacenter Dynamic Capacity Provisioning, HmD-DCP),通过动态控制活跃的服务器数量来优化数据中心的能耗开销。首先通过分析谷歌数据中心负载工作记录,得到数据中心承载的应用特征等信息,作为后续研究的基础。针对大规模数据中心存在的能耗巨大的问题,设计了一种规模动态供应体系结构,该体系结构基于以下三个因素实现数据中心的规模调节:随时间变化的应用业务资源需求、动态变化的电能价格、动态配置数据中心规模所带来的开销(开/关服务器可能会导致服务器故障)。基于该体系结构,本文提出一种基于ARIMA(Auto-Regressive Integrated Moving Average,自回归差分滑动平均模型)的计算资源预测算法,该算法借助于MPC控制框架,求解出数据中心最佳规模,平衡数据中心的能耗开销、违反SLA的惩罚开销和重配置规模带来的开销,最后使用谷歌数据中心负载记录数据进行模拟实验,说明HmD-DCP方法可以降低多达18%的能耗开销,且能满足SLA要求。  2、提出一种异构型数据中心的规模动态供应技术(Heterogeneous Datacenter Dynamic Capacity Provisioning, HtD-DCP)。主要解决在异构型数据中心环境下,如何动态地配置数据中心的规模,使得该数据中心能够在保证服务质量(Quality of Services, QoS)的前提下有效地降低能耗开销。首先分析谷歌数据中心负载工作记录,得出数据中心具有服务器异构性、应用对资源需求异构、应用对性能要求异构等特性。设计了一种规模动态供应体系结构,该体系结构基于以下因素实现数据中心的规模调节:未来一段时间的资源使用量、违反SLA的惩罚代价。综合考虑能耗开销和服务质量两方面,对异构型数据中心的规模动态供应问题进行建模,将异构型数据中心划分为多个子系统(每个子系统由相同类型的服务器组成),从而将异构型数据中心规模动态供应问题转化成多个同构型数据中心规模供应问题,通过问题转化求解出各子系统需要配置的最优活跃服务器数量。模拟实验表明HtD-DCP方法可以有效地降低数据中心的整体能耗,并保证数据中心对外提供的服务质量。  3、提出一种能耗与SLA(Service Level Agreement,服务等级协定)惩罚代价感知的计算资源动态调度算法(CA算法)。系统功耗、SLA惩罚代价是组成异构型数据中心计算资源动态调度问题的主要因素,功耗是单位时间内的能耗,直接反映能耗,本文分别对系统功耗和SLA惩罚代价建立数学模型,并通过理论分析和推导证明异构型数据中心计算资源动态调度问题是NP完全的。针对该问题,本文基于贪心算法的思想,提出一种能耗与SLA惩罚代价感知的资源动态调度算法,并通过实验与两种典型的调度算法(首次适应算法和能耗感知算法)进行对比。实验结果表明:(1)在负载较轻情况下,CA算法能够在保证服务质量的情况下,相比于首次适应算法和能耗感知算法,使系统能耗进一步下降3.3%;(2)在负载较重情况下,CA算法在能耗和性能上与这两种典型的调度算法相当。  4、提出一种适用于系统能耗受限的数据中心资源调度算法。由于能耗难以精确度量,本文基于功耗对系统能耗受限的数据中心资源调度问题进行描述和建模,提出一种基于公平调度的资源调度算法,FS(Fair Scheduling)算法。该算法通过引入调度权值和放置权值两个参数,优化多种优先级业务的调度。实验结果表明,在轻负载场景和重负载场景下,FS算法在不影响高优先级业务调度的基础上,能优化低优先级业务的平均调度延迟和响应时间。  综上所述,本文针对数据中心能耗约束的资源管理技术的关键问题提出了有效的解决方案,对推进数据中心的快速发展有一定的理论价值和应用价值。
其他文献
音频编码技术在现代多媒体技术中占据相当重要的地位,在网络音频、数字声音广播和家庭AV影院中音频编码技术都有广泛的应用。在音频编码标准方面,MPEG组织推出的音频编码标准应
构件技术的一个目标是构件具有平台无关性。一个开发好的构件,理想情况下,应该可以在任意操作系统,软件平台上独立部署,正常运行。但是构件技术最初并不能达到这个目标。虚拟机技
近年来,作为发电机组的核心部分——汽轮发电机的单机容量不断增大,自动化程度不断提高,为了保障汽轮机的安全运行,需要配备一整套测量精确、高可靠性的监视保护系统。正由于这样
网络性能是计算机用户普遍关心的问题,网络性能评价和改进一直是计算机网络技术领域的研究热点之一。一方面,数据网络传输自相似特征的发现,打破了原有的对数据流量短相关的基本
数据库自然语言接口是人工智能研究的重要分支,它的目标是使计算机能够“理解”自然语言,让用户直接使用自然语言访问数据库。经过四十多年的发展,数据库自然语言接口已经取
基因芯片技术是二十一世纪影响最深远的重大科技进展之一。基因芯片使得同时研究成千上万个基因的表达成为可能。如何对基因芯片实验产生的海量数据进行有效的管理和分析己成
随着网络和Internet的蓬勃发展及广泛应用,各种类型的设备正在源源不断地加入到网络之中,网络的使用与维护也因此变得越来越复杂。而人们希望设备和软件组件接入网络时,能够无需
随着信息技术的发展和日益增长的对安全的需要,基于生物特征的身份识别技术在近年来有了迅速的发展。人们正在研究和使用的生物特征包括人脸、虹膜、指纹、掌纹、声音、步态、
随着网络技术和计算机技术的发展,多媒体通信和视频通信正逐步成为通信的主要业务。视频信息的庞大数据量和信道带宽的限制迫使视频通信数据通常要经过压缩编码,而压缩数据对传
采购决策在整个企业决策过程中占有十分重要的地位。通过利用准确高效的采购决策来辅助企业进行采购管理,是提高企业管理水平、降低产品成本、提高企业效益的一个有力保障。