数据中心服务性能优化问题研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:guocanon
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网、云计算、人工智能技术的迅速发展,数据中心(Data Center)已经成为了现代社会的重要基础设施。为了吸引更多用户购买数据中心的资源,数据中心服务提供商会在自有的数据中心中部署各类服务,如网页托管、分布式缓存、神经网络推理等服务,并直接通过标准访问接口向租户提供服务。对于数据中心的服务提供商,需要在不增加基础设施投入的情况下,尽量优化提高各种服务的性能。作为优化数据中心服务性能前提,提供商可以通过数据中心网络测量准确地获取当前数据中心的工作状态,并收集用户使用服务的特征。然后再根据所收集到的数据优化部署在数据中心的各类服务。根据不同的性能瓶颈,数据中心服务可以被分类成:网络密集型服务(Network Intensive Service)、存储密集型服务(Storage Intensive Service)和计算密集型服务(Computation Intensive Service)。围绕数据中心服务性能优化,本文研究内容和主要贡献如下:1.数据中心网络单台可编程交换机的测量架构设计:作为数据中心网络测量的基本单元,单台可编程交换机上的流量测量框架是实现高性能、高精度网络测量的基础。本文设计了一个能够灵活实现多种测量任务的网络流量测量架构Flex Mon。Flex Mon能根据流量特征更准确地分离出大、小网络流,并使用不同测量方法对大流进行测量,从而有效提升测量准确度。Flex Mon能够以较低的开销实现准确和细粒度的数据中心网络流量测量,为各种网络服务优化提供准确的输入信息。本文分别在软件和硬件的可编程交换机平台上实现了Flex Mon测量框架,并评估了Flex Mon在常见的流量测量任务上的性能。与现有方案相比,Flex Mon能以较低的实现代价实现更高的测量精度。2.数据中心网络的网络级测量优化问题:为了评估整个数据中心的工作状态,数据中心服务提供商会协同网络中大量网络测量节点实现网络级测量。本文提出了数据中心网络的网络级测量系统的数学模型,并提出了数据中心网络的网络级测量节点分配问题。该问题目标是为数据中心网络流分配测量节点,并优化网络流量测量系统的测量利用率。本文证明了该问题是NP完全问题,并设计了基于拉格朗日松弛的测量节点分配算法(Lagrangian Relaxation based Measurement Node Allocation Algorithm,LR-MNAA)算法求解该优化问题。在网络级测量系统中,同一个测量节点上测量越多网络流会导致越大的测量误差。本文还分析了数据中心网络的网络级测量精度优化问题,目标是为网络流分配测量节点时,尽可能地让测量任务均匀地分布在整个网络的测量节点上。本文设计了图神经网络(Graph Neural Network,GNN)模型Neural Mon求解测量精度优化问题。最后,本文在实际场景的网络拓扑和网络数据集上验证了LR-MNAA算法和Neural Mon模型的性能。3.数据中心虚拟交换机动态资源分配优化:本文研究了数据中心虚拟交换机动态资源分配问题和数据包调度问题。首先,本文建模了该问题,问题的目标是优化数据中心虚拟交换机的资源分配。然后,本文通过李雅普诺夫优化框架将上述优化问题转化为离散时间队列模型,并将优化问题转换成队列稳定性问题。通过问题的转换可以推导出一组调度算法,并证明通过该算法可以让虚拟交换机资源分配的时间平均期望值和队列长度之间遵守理论性能上界。最后,本文在实验中评估优化算法在硬件测试平台和真实数据中心网络拓扑上的性能,实验结果表明上述算法的性能超过了其它分配算法,并且符合理论性能上界。4.数据中心合作式缓存系统性能优化:本文为分布式缓存系统设计了协作式缓存模型,以提高数据中心缓存的利用率。为了优化缓存系统的性能,本文还研究了该模型下的缓存内容优化问题并建立了优化模型,并针对不同的用户特征和缓存系统提出了对应的优化算法。当缓存系统中缓存内容对象大小相同时,优化算法得到问题的最优解。而当系统中缓存内容对象大小不同时,本节提出的近似算法,在用户请求符合泊松过程或帕累托过程时的近似比分别为2和2ββ-1。最后,本文通过实际场景的实验评估了协作式缓存模型和优化算法的性能。实验结果表明,本文提出的模型和算法能够较好的提高缓存命中率并降低缓存获取时延。5.数据中心稀疏神经网络推理性能优化:神经网络推理是一种重要的数据中心计算密集型服务,本文利用神经网络稀疏性优化了神经网络推理服务。本文首先提出了一种基于位图稀疏编码格式,以及基于该稀疏格式的通用稀疏矩阵乘法(Sparse GEneral Matrix-matrix Multiplication,稀疏矩阵乘稀疏矩阵运算,Sp GEMM)和稀疏卷积运算(Sparse Convolution,Sp CONV)。该算法能够同时利用激活函数的稀疏性和权重矩阵的稀疏性加速神经网络运算。此外,本文还给出了相应的硬件设计和指令集扩展,并以较小的硬件代价在通用图形处理器(General-Purpose computing on Graphics Processing Units,GPGPU)的张量计算核心(Tensor Core)上支持了上述算法。实验结果表明,本文所提出的算法设计和硬件架构扩展能够以较小的硬件代价提高了Sp GEMM运算和Sp CONV运算性能。
其他文献
学位
学位
学位
学位
期权中蕴含了大量的信息。国内外已有众多学者提出各种方法,针对成熟市场和新兴市场的期权进行建模并提取丰富的信息。针对期权的隐含波动率曲面的研究,众多学者尝试将期权波动率作为切入口,构建了众多期权波动率的相关模型(例如,随机波动率(Stochastic Volatility,SV)模型和SABR模型),而这些模型都已在学术界和业界有广泛研究与应用。然而,大多数原有与期权波动率相关的模型都存在求解复杂和
学位
高校教师教育者是我国基础教育教师队伍建设的主力军,其整体发展水平决定着我国教师教育的水平,也最终影响和决定着我国基础教育的质量。建设一支卓越的教师教育者队伍是我国教育事业发展的重要基础。从我国目前教师教育者的专业素养看,无论是理论素养还是实践素养,都和胜任国家教师教育的需要有一定的差距。教师教育者专业素养内容体系的建构、发展和提升问题,是教师教育领域亟需研究解决的重要课题,也由此成了本论文的研究主
新烟碱类杀虫剂造成的水环境污染在全世界范围内非常普遍。其污染问题已经得到了广泛的研究,但其在环境中的光化学转化产物可能引起的环境风险相关的研究尚处于空白阶段。因此,对该类化合物的光化学转化产物及相应的光致毒性进行研究不仅具有相应的环境学研究价值,也对该类农药以及其他相关农药的环境转化风险评价、正确合理的施加和管理管制政策的制定有着重要的现实价值和指导意义。本文通过对一系列新烟碱类杀虫剂在室温下进行
学位
学位