WebGlusterFS集群管理系统与能耗感知存储分配算法

来源 :深圳大学 | 被引量 : 1次 | 上传用户:iczfjh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今时代处于一个信息爆炸时代,随着数据量迅速增长和信息高度密集,云计算和大数据等技术的蓬勃发展,成为了当今社会不可或缺的重要技术。而存储是大数据的重要基石,也是云计算的重要基石。当前的云计算和大数据应用严重依赖于异构存储平台,云计算的多租户环境以及数据多样性都使得应用负载的特性差异巨大,必须设法有效地综合利用这些异构存储系统来满足差异性的需求。此外,在云计算和大数据环境下,能耗在数据存储中心的成本中占比日益上升,并且随着存储规模的增加,成本上涨速度还在不断加剧。所以,存储资源的有效利用和分配于以及存储能耗的节能优化至关重要。本文主要针对当前的云环境中的异构存储资源分配进行了深入研究,基于GlusterFS设计开发了易于使用的网页化分布式存储系统Web GlusterFS;此外,我们提出了一种基于遗传算法的能耗感知存储分配算法,能够有效优化数据初次部署时进行存储分配产生的能耗。主要工作包括:(1)研究GlusterFS的框架和体系机制,利用自定义Xlator实现GlusterFS的功能拓展,利用PXE-kickstart和Cluster Shell的机制完成系统和GlusterFS的批量自动化部署。(2)提出基于遗传算法的能耗感知存储调度算法,在相应的性能损耗、有限存储空间等约束条件下对给定的存储负载请求能计算出最优的资源分配,优化数据初次部署时进行存储分配产生的能耗,并与已有的算法进行分析比较。(3)基于Django、SQLite和Bootstrap的技术架构,对GlusterFS进行优化和改进,开发实现了一个易于使用的网页化分布式集群管理系统——Web GlusterFS。本文基于开源分布式存储系统GlusterFS完成一个易于使用的网页化分布式集群管理系统Web GlusterFS,并且提出了一种基于遗传算法的能耗感知存储分配算法,能够有效优化数据初次部署时进行存储分配产生的能耗,为后续相关研究提供经验和借鉴。
其他文献
纤细裸藻(Euglena gracilis)富含副淀粉,是一种新型的保健食品。副淀粉具有降低胆固醇、降低血糖、抗病原微生物、抗肿瘤、保护肝脏和免疫调节等多种生物活性,有望开发成营养保健品或免疫佐剂。然而副淀粉的免疫调节机制尚未明确,极大地制约了副淀粉的开发应用。本论文以超声和碱化的方法制备裸藻副淀粉,探究其对RAW264.7巨噬细胞的免疫激活效果及机制,主要内容及结构如下:(1)优化了裸藻副淀粉的
拓展金融科技应用,应当树立以人民为中心的发展理念,坚持以人为本,不能本末倒置,舍本逐末。要注重用户体验,体现人文关怀,营造友好、安全的服务环境。同时,金融科技本质上是一种技术驱动的金融创新活动。无论叫金融科技还是科技金融,始终不能忘记金融属性,不能违背金融运行的基本规律,否则必然会受到市场的惩罚。
期刊
首先以盐酸分解磷矿制备酸解液,再通过向酸解液中加入硫酸制备硫酸钙晶须。实验考察了加料时间、搅拌转速、硫酸浓度、硫酸根与钙离子物质的量比、氧化钙质量分数、反应温度对硫酸钙形貌及晶须长径比的影响。采用扫描电镜观察硫酸钙形貌并用Image-Pro-Plus对硫酸钙SEM图进行分析得到硫酸钙晶须的平均长径比。实验得到硫酸钙晶须的最佳制备工艺条件是:加料时间为20 min、搅拌转速为350 r/min、硫酸
全景视频作为一种新颖的视频格式受到了人们的广泛关注,而虚拟现实游戏的热潮进一步促进了全景视频的发展。全景视频提供观看者沉浸的视频体验,视频的内容呈现于立体球面。本文主要研究全景视频视口预测和全景视频人物检测两方面内容。全景视频的视口预测具有重要的研究意义。在传统的视频传输过程中,视频服务器发送完整的视频数据到接收端。然而,观看者仅对视口内的图像可见,视口外的视频内容浪费了大量的传输带宽。因此,视口
现如今随着科技的不断发展,在社会的发展历程中,数据扮演越来越重要的角色。海量数据的利用对于生活或者商业中构建合适的模型来预测特定的任务有很大的优势。所以,在社会实践应用中大数据无处不在,如生物医学领域的疾病数据,计算机视觉领域的图像数据,自然语言处理的文本数据的使用等。为了能够更好的挖掘数据潜在的价值,挖掘数据的技术成为了近段时间来的研究热点,如:聚类和推荐算法等。在机器学习和数据挖掘中,聚类是很
在低光照环境下,由于普通消费者拍摄的照片通常会受到相机抖动、传感器噪声等因素的影响,从而导致所获取到的照片质量不佳。经过图像增强处理后,能够使获取到的图片质量得到一定的改善,以达到与人们主观审美感受相一致的结果。虽然目前有一些图像质量评估指标,能够对经过图像增强处理后的照片进行质量评价,但是,这些评价指标没有经过人们的主观验证,不能仅凭此判定经过图像增强处理后的照片就一定符合人们的主观审美。针对该
近年来,物联网(Internet of Things,IoT)已经成为一个重要的研究领域。其中,智能空间结合了环境感知和机器学习,以智能方式向用户提供智能和定制服务。随着传感和通信技术的进步,物联网使得用户可以随时随地与任何事物进行连接,也由此产生了更多的用户服务。因此,实现准确、非侵入式和安全的智能交互成为了研究热点。如今,居住在智慧城市的人们的方方面面都与物联网息息相关,正因为如此,身份识别服
随着工业的快速发展,人们对产品的质量要求也越来越关注。产品表面缺陷检测作为生产过程中最重要的工序之一,它直接影响到产品质量以及用户体验。产品在生产过程中往往会出现一些缺陷,这些缺陷具有一定的随机性,缺陷类型、形状大小各异。传统的人工检测虽然方法简单,有些缺陷的特征不够明显,利用人眼难以识别,检测误差较大,并且效率低下;现有的机器视觉方法能够实现自动检测,但其核心算法需要人工提取特征,存在选取特征不
图像检索是指将待查询图像与候选图像进行相似度比较,找出与查询图像相似或相关的图像。随着图像数据的海量增长和深度学习的快速发展,基于内容的图像检索吸引了越来越多的研究者。一方面,该课题对计算机视觉领域的其他任务(如行人重识别、图像分类等)有积极的促进作用,另一方面,该课题在实际应用中(如电商平台通过图像查询商品,安防等)也发挥了重要的作用。近年来,基于深度学习的图像检索方法取得了良好的效果。然而,图
当前网络信息地爆炸式增长,加大了人们在获取信息中消耗的时间及精力。自动摘要技术能够有效地提高人们面对巨大文本信息冗余时获取信息的效率。自动摘要技术按原理分为抽取式与生成式:抽取式自动摘要技术是对文本中的所有句子进行重要性评估,然后按照重要性选取句子组成摘要;而生成式自动摘要技术是基于内容,由算法生成摘要。但目前效果较好的生成式自动摘要方法,对输入文本长度的处理能力也仅限于短文本,而中文摘要任务则更