基于模糊理论的云存储系统能耗与性能优化方案研究

来源 :华南师范大学 | 被引量 : 0次 | 上传用户:hansenhuang1983
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算、物联网、移动互联、社交媒体等新兴信息技术和应用模式的快速发展,促使全球数据量急剧增加,推动人类社会迈入大数据时代。大数据应用背景下,用户对存储空间的需求越来越大,存储的数据类型也日益复杂化,这些现象的出现对传统的数据存储服务提出了极大的挑战。在这一趋势下,近年来伴随着云计算技术而兴起的云存储服务为人们提供了大量廉价的存储空间,逐渐发展成为大数据的存储与管理的主要平台。  然而大数据的应用场景对云存储系统提出了进一步的要求。大数据的大规模特征(Volume)导致了云存储系统的规模将会比以往显著增大。传统的云存储系统的构建方式在提高服务规模及访问性能的同时也带来了巨大的能耗问题。云数据中心的高能耗问题不仅仅是因为数据规模的急剧增大,系统资源的低效组织和无序管理所导致的能源利用率低下也是一个重要原因。  为此,本文在研究了HDFS系统的基础上,对基于合并任务的云存储系统节能思想进行进一步的研究和发展,提出了针对HDFS云存储系统的能耗优化算法。首先,针对以往对集群文件访问热度的度量时所考量的影响因素过于单一的问题,提出了一个基于k-可加模糊测度和Choquet模糊积分的多属性文件访问热度计算模型。该模型在一定的统计周期内,从文件的访问次数、读取数据量以及共享用户数这3个属性出发对文件的访问热度进行度量。其次,根据文件访问热度值对文件数据块副本的活动状态进行决策标记,并根据文件活动数据块的分布情况将HDFS集群划分成不同区域,最终通过迁移数据并休眠部分数据存储节点而达到节省能耗的目的。本文所提出的HDFS集群划分算法能够保证在文件活动数据块分布情况己知的前提下,执行能耗优化算法所需迁移的数据块总数最少,并给出了数学证明。  在大数据环境下,数据价值的时效性往往表现为数据中所蕴含的知识价值随着时间的流失而衰减。云存储系统作为大数据的主要存储平台,必须满足大数据处理对数据存储平台的访问性能需求,避免成为大数据处理的性能瓶颈。云存储系统的能耗优化往往会对系统的访问性能产生一定的负面影响。能耗优化与访问性能优化似乎成为一对不可调和的矛盾。为解决这个矛盾,本文针对云存储系统读取数据时的副本选择问题,在对经典模糊时间序列预测模型进行适当调整的前提下,提出了一种基于预测的副本选择策略,并通过实验验证了该策略的有效性。这为今后从能效比(数据访问效率与能耗比)的角度对大数据应用场景下的云存储系统优化方案的研究奠定了理论基础。
其他文献
近年来,网络空间的争夺日益激烈,面对复杂多变的网络攻击和破坏行为,如何设计更有效的攻防机制已成为网络安全领域的研究热点。传统的网络安全策略主要分为两类,一类是安装被动防
随着互联网和信息技术的迅猛发展,人们的学习、生活和工作方式正在被许多互联网服务及应用改变着。同时,Web2.0时代的背景下也使得互联网与用户之间的交互方式变得多样化。因此
学位
二十世纪五十年代Markowitz提出的均值-方差(Mean-Variance)模型研究在一定的风险状况下如何获得最大期望收益,或在一定的期望收益水平上如何使风险达到最小的投资组合问题,奠定
随着超级计算机系统的快速发展,人们对互连网络的结构要求越来越高,各种组合网络的研究也因此受到更多的关注。组合网络提供了以任意图为因子网络构建更大规模网络的一般方式,所
组合优化问题是一类比较常见的问题,其理论与方法已经广泛应用于运筹学、控制论、管理科学和计算机科学等领域,并在工程技术、经济、军事等诸多方面都有着极为重要的应用。如:
学位
学位
近年来,随着GPS系统的不断发展,以及基于位置服务的普及,大量的时空数据在日常生活中日益积累,并为不同类型的应用所服务。由移动对象产生的时空数据被称作移动对象轨迹。如何从
在无线网络的路由中,如果处于不同路径上的两个节点间的距离太小,则在这两条路径上传输的数据相互之间很有可能会发生干扰从而导致数据的出错甚至丢失。这种场合就需要设计非干