Hadoop云存储平台副本分布策略优化方案的研究

来源 :申雪玲 | 被引量 : 0次 | 上传用户:huihui1989
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的发展,云计算技术逐渐成为人们关注的焦点。当前信息化程度越来越高,云计算过程中产生的数据已经成指数增长,为了保存海量的数据,云存储技术逐步发展起来,目前已成为很多领域不可获取的一门技术。云存储的本质是将用户的数据存储在服务器上,这些服务器通常通过互联网构建成集群,用户通过网络可以在远端访问,用户的数据保存在云端而不用担心丢失的问题。云存储技术很大程度上依赖于Hadoop平台,Hadoop由Apache开发的一种分布式平台,在云计算和分布式存储方面表现出很大的优势,各大企业都在将Hadoop应用到云存储方面做了大量研究。HDFS是Hadoop平台的一种分布式文件系统,具有强大的数据存储能力和扩展能力,但是由于业务的多样化和数据格式的差异化,HDFS在设计上存在一些缺陷,要应用到具体的场景需要进行优化。本文的研究主要是为了解决HDFS文件系统在副本分布不均衡的问题。所做的主要工作包括两个方面,第一是实现基于HDFS的云存储系统,文件副本随机的存储在不同的Data Node上,然而在随机存储的过程中,副本的分布并没有遵循负载均衡的原则。本文提出了基于加权评价指标的算法选择最优解,同时兼顾了各个节点的负载和空间的使用率,将数据存储在最合适的Data Node上,实现负载均衡;第二是开发Web程序,基于Hadoop搭建云存储系统,然后将改进的HDFS文件系统与原始的文件系统对比,进行大量的测试,测试验证改善后的HDFS的保存的副本文件具有更好的分布特性。本文所设计的系统基于HDFS,并改善了该分布式文件系统在存储文件时的分布特性,实现了副本分布的负载均衡,对于提高系统的使用率和文件的安全性方面具有积极的意义。
其他文献
目的 探讨雌激素对小鼠皮肤光老化的改善作用及对皮肤角质p53、沉默信息调节因子1(SIRT1)表达的影响。方法 49只雌性BALB/c小鼠随机选取9只作为对照组,其余40只建立皮肤光老化小鼠模型,34只建模成功小鼠随机分为模型组(10只)、溶媒组(12只)、雌激素组(12只)。溶媒组、雌激素组分别涂抹10 mL/kg花生油、10mL/kg雌激素,模型组、对照组涂抹等体积生理盐水,连续在背部用药8周
期刊
高中思想政治课是落实立德树人任务的关键课程,新时代背景下应聚焦高中思想政治学科核心素养目标的实现,但高中思想政治核心素养目标的培育不是一挥而就的,是需要循序渐进、细水长流的,对于培育学生的必备品格和关键能力既离不开课堂教学的实施也离不开科学合理的作业体系。因此,作业作为课堂教学的延伸和补充不论是在作业目标、作业形式、作业内容等方面的设计都不应再只是单一的巩固所学知识,而是应该在此基础之上既能作为教
学位
随着《国家中长期教育改革和发展规划纲要(2010-2020年)》(中发[2010]12号)、《国务院关于当前发展学前教育的若干意见》(国发[2010]41号),以及教育部、发改委、财政部三部委联合出台的《关于引导部分地方普通本科高校向应用型转变的指导意见》(教发[2015]7号)等相关政策文件的相继出台,职业教育的社会功能日益凸显,它的发展与我国快速增长的经济形势和社会和谐有着十分紧密的关系。因此
学位
习总书记提出:“在安全上努力建设一个‘远离恐惧、普遍安全’的世界”。面对日益复杂化、综合化的安全威胁,安保措施的加强也提升到新的认知高度,广大民众对警方在反恐方面的呼声越来越清晰,反恐工作也已深入到警务工作的方方面面。因此,我国警棍的生产和改良应用变的尤为重要。作为21世纪工业设计师,我们有必要将工业设计理念和我国传棍统警设计相融合。本论文以民警常用警棍的人机分析与应用为切入点开展改良设计分析与论
学位
一直以来德育工作在高职院校的教学任务中,都是作为一个重点工作来处理的,是当前培养高素质人才十分重视的一个方面。教师的德育能力,是指教师在学习及工作实践中累计形成的,通过感知、监控、引导和影响学生的德育问题,从而使得学生的思想政治素质能力提高。教师作为教育工作中的引导者,整个学校德育工作的进程都受到教师的德育能力的影响。对于湖南高速铁路职业技术学院来说,一直以来,德育工作在学校师资队伍建设中都被作为
学位
新时期对职业院校大学生综合素质水平提出了越来越高的要求,另一方面,就企业单位的用工需求而言,不仅仅期望学生学习期间的成绩分数,而且还希望获得学生的思想道德素养、学习态度、业务能力、创新能力、实践能力、身体素质和心理健康等多元素质水平。越来越多的高职院校从学生的全面发展角度和用人单位需求角度两方面的促进下,开始对职业院校学生的综合素质水平进行研究并提出新的评价体系。在这一背景下,九江职业技术学院通过
学位
近些年,得益于互联网相关技术的不断进步以及云计算的出现,云存储也慢慢在现如今的信息存储方面占据了越来越高的比重。此外,由于互联网在人们的日常生活中起到了越来越重要的作用,该技术也因此扩展了规模,故而现如今我们对网络的服务器有关数值信息的操作要求就与日俱增。而在各种数据处理技术中,由于耗价较低以及适应性较高,服务器集群技术就显得尤为突出,并得到了广泛的采纳以及应用。本次课题研究主要是以该种集群技术在
学位
通过计算机手段实现高校学生考试管理已越来越普及。随着计算机技术、网络传输和网络加密能力不断发展,这种普及程度会越来越高。从当前社会发展及考试管理模式改革的大环境看,基于网络平台的考试管理系统正趋于蓬勃发展的阶段,其在社会发展中的作用效果也正在不断放大,因此,在高校开展分级考试管理系统建设势在必行。本文主要介绍了唐山学院英语分级考试系统的设计与实现。论文首先概述了开展英语分级考试管理系统研究的背景及
学位
随着互联网技术和数据存储技术的快速发展,网络数据传输的起到了越来越重要的作用,FTP协议目前在很多数据传输场合用到,它具有数据传输稳定高效、数据传输安全等特点。FTP服务器在数据存储服务器中占据了很大的比重,研究FTP服务器的实现原理和性能优化意义重大。随着网络带宽的不断增加,目前用户经常有GB级别的大文件需要在网络中传输,但传统的FTP服务器在大文件传输方面性能很差,很容易出现传输中断等问题,传
学位
随着计算机技术和网络技术的飞速发展,基于云技术的应用在网络应用服务、企业服务器等方面逐步推广,云存储也慢慢在现如今的信息存储方面占据了越来越高的比重。此外,由于互联网在人们的日常生活中起到了越来越重要的作用,依赖于互联网技术的云存储技术也因此扩展了规模,我们对网络服务器有关数据信息的操作需求与日俱增。而在各种数据处理技术中,由于耗价较低以及适应性较高,云存储技术就显得尤为突出,目前云存储技术已得到
学位