论文部分内容阅读
随着互联网技术的迅猛发展,大量的网络应用集中部署在数据中心内运行。网络应用和用户数量的飞速增长,导致数据中心的规模不断扩大,甚至达到了百万量级。能耗成为数据中心资源管理亟需解决的重要问题,也是近年来学术界、工业界研究的热点。数据中心资源管理面临高能耗、异构性和可扩展性等问题,如何在满足应用服务质量的前提下,优化同构型、异构型数据中心的能耗,是本文主要研究的能耗受限资源管理问题。 针对以上问题,本文介绍了数据中心能耗优化、资源调度等发展现状,在深入分析谷歌数据中心真实负载记录的基础上,提出了面向同构型和异构型数据中心的规模动态供应技术,该技术能够依据资源使用的历史信息,准确预测下一时间段内所需的资源量,并求解出数据中心的最佳规模,有效优化系统能耗;在数据中心规模确定的情况下,提出一种能耗与SLA惩罚代价感知的资源调度算法,通过资源的优化配置,算法能够降低数据中心的能耗;提出一种系统能耗受限的数据中心资源调度算法,优化多种优先级业务的平均调度延迟和响应时间。 本文主要贡献包括以下四个方面: 1、提出一种同构型数据中心的规模动态供应技术(Homogeneous Datacenter Dynamic Capacity Provisioning, HmD-DCP),通过动态控制活跃的服务器数量来优化数据中心的能耗开销。首先通过分析谷歌数据中心负载工作记录,得到数据中心承载的应用特征等信息,作为后续研究的基础。针对大规模数据中心存在的能耗巨大的问题,设计了一种规模动态供应体系结构,该体系结构基于以下三个因素实现数据中心的规模调节:随时间变化的应用业务资源需求、动态变化的电能价格、动态配置数据中心规模所带来的开销(开/关服务器可能会导致服务器故障)。基于该体系结构,本文提出一种基于ARIMA(Auto-Regressive Integrated Moving Average,自回归差分滑动平均模型)的计算资源预测算法,该算法借助于MPC控制框架,求解出数据中心最佳规模,平衡数据中心的能耗开销、违反SLA的惩罚开销和重配置规模带来的开销,最后使用谷歌数据中心负载记录数据进行模拟实验,说明HmD-DCP方法可以降低多达18%的能耗开销,且能满足SLA要求。 2、提出一种异构型数据中心的规模动态供应技术(Heterogeneous Datacenter Dynamic Capacity Provisioning, HtD-DCP)。主要解决在异构型数据中心环境下,如何动态地配置数据中心的规模,使得该数据中心能够在保证服务质量(Quality of Services, QoS)的前提下有效地降低能耗开销。首先分析谷歌数据中心负载工作记录,得出数据中心具有服务器异构性、应用对资源需求异构、应用对性能要求异构等特性。设计了一种规模动态供应体系结构,该体系结构基于以下因素实现数据中心的规模调节:未来一段时间的资源使用量、违反SLA的惩罚代价。综合考虑能耗开销和服务质量两方面,对异构型数据中心的规模动态供应问题进行建模,将异构型数据中心划分为多个子系统(每个子系统由相同类型的服务器组成),从而将异构型数据中心规模动态供应问题转化成多个同构型数据中心规模供应问题,通过问题转化求解出各子系统需要配置的最优活跃服务器数量。模拟实验表明HtD-DCP方法可以有效地降低数据中心的整体能耗,并保证数据中心对外提供的服务质量。 3、提出一种能耗与SLA(Service Level Agreement,服务等级协定)惩罚代价感知的计算资源动态调度算法(CA算法)。系统功耗、SLA惩罚代价是组成异构型数据中心计算资源动态调度问题的主要因素,功耗是单位时间内的能耗,直接反映能耗,本文分别对系统功耗和SLA惩罚代价建立数学模型,并通过理论分析和推导证明异构型数据中心计算资源动态调度问题是NP完全的。针对该问题,本文基于贪心算法的思想,提出一种能耗与SLA惩罚代价感知的资源动态调度算法,并通过实验与两种典型的调度算法(首次适应算法和能耗感知算法)进行对比。实验结果表明:(1)在负载较轻情况下,CA算法能够在保证服务质量的情况下,相比于首次适应算法和能耗感知算法,使系统能耗进一步下降3.3%;(2)在负载较重情况下,CA算法在能耗和性能上与这两种典型的调度算法相当。 4、提出一种适用于系统能耗受限的数据中心资源调度算法。由于能耗难以精确度量,本文基于功耗对系统能耗受限的数据中心资源调度问题进行描述和建模,提出一种基于公平调度的资源调度算法,FS(Fair Scheduling)算法。该算法通过引入调度权值和放置权值两个参数,优化多种优先级业务的调度。实验结果表明,在轻负载场景和重负载场景下,FS算法在不影响高优先级业务调度的基础上,能优化低优先级业务的平均调度延迟和响应时间。 综上所述,本文针对数据中心能耗约束的资源管理技术的关键问题提出了有效的解决方案,对推进数据中心的快速发展有一定的理论价值和应用价值。