云存储环境下分布式文件系统的副本策略研究

被引量 : 4次 | 上传用户:treef620
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的高速发展,网络上产生的数据量呈爆炸式的增长,对这些数据的存储成为了计算机领域研究的热点。传统的存储方式,比如存储区域网络和网络附加存储因为其存储容量和性能存在瓶颈,价格昂贵,不易扩展等原因,应用范围受到限制。云存储采用分布式文件系统为核心,硬件设备价格低廉,可扩展性好。副本技术提高了系统的可靠性、可用性和性能的同时,也带来了负载均衡,网络带宽开销,一致性等问题。本文分析了当前典型的分布式文件系统,结合云存储环境下的业务特征,研究了相应的副本策略,重点考虑系统访问的效率和性能,负载均衡,数据的一致性等问题,并根据这些需求设计和实现了分布式文件系统中的副本管理模块。本文的主要工作包括以下内容:(1)提出了基于一致性哈希的副本放置策略。传统的分布式文件系统副本放置位置主要通过元数据中心服务器存储,当系统并发访问量很大时,元数据服务器将成为系统的瓶颈。基于一致性哈希的副本放置策略很好的解决了文件检索,存储设备扩展和失效的问题。引入虚拟节点映射,极大地减少了系统设备的改变带来的数据迁移。同时对设备按照存储能力增加权重属性,更好的提高了系统的负载均衡。(2)提出了基于文件热度的副本调整策略。该策略以文件的请求次数为基础,结合服务器的负载,动态地调整副本数量,提升了系统的性能和效率。同时,辅以副本压缩策略,对长时间没有访问的文件副本压缩,在保证数据可靠性和可用性的同时,节省了系统的存储空间。(3)提出了基于用户请求的副本一致性策略。该策略在对副本一致性维护的同时,充分考虑到了避免增加系统开销。同时,为了防止长期没有用户访问的文件不一致而使得数据的可靠性降低,副本失去冗余备份的作用,采用定时更新的机制,在系统空闲的时候将系统中副本各版本更新到一致状态。
其他文献
:区域竞争力应从产业层面进行研究 ,才有现实意义。在经济全球化下 ,国内市场国际化竞争趋势日益明显 ,我国即将加入WTO也要求国内各地区必须培育产业竞争优势。本文提出和评
当今随着计算机行业的迅猛发展,越来越多的高校开设了程序设计基础课程。作为计算机专业核心课程之一的程序设计课是引领学生踏入软件开发殿堂的入门课程,且很多后续专业课程的
网络商品交易市场已经逐渐成为国内社会消费品市场的重要补充部分,发达国家的网络商品交易非常成熟,国内的网络商品交易还处于初级阶段,但是发展速度很快。网络商品交易同传统商
利用单片机、逆变电路和驱动隔离保护技术,通过对控制信号的调整,实现变压、变频、稳压、稳频的闭环控制,实现用交流调速系统控制电动摩托车匀速和变速行驶,有效的改善电动摩托车
随着科技的迅猛发展,信息技术的作用日益凸显其重要性。互联网和多媒体技术已成为人们获得信息、分析信息及利用信息不可或缺的手段。经过30年左右的发展,我国已取得了极大的
中国移动成立十几年来的蓬勃发展,领先的网络质量、深度的网络覆盖功不可没。面向未来,企业要实现持续增长、重塑核心竞争优势,公司战略调整、网络转型则势在必行。这也要求
主要分布在滇西南澜沧江和怒江中下游两侧的布朗族,是云南省特有的15个少数民族之一,得天独厚的地理环境和丰富的自然资源,为布朗族提供了良好的采集和渔猎条件.在长期的狩猎
加强和创新社会管理,是当代中国政府必须履行的核心职能,是构建和谐社会的重大任务,是推进经济社会转型和城市升级面临的紧迫课题。更为重要的是随着市场化改革和城市化的不断推
<正>随着心脑血管疾病发病率的增加,越来越多的人使用抗血小板或抗凝药物预防心脑血管疾病。研究表明,47.9%的老年髋部骨折患者入院前至少使用一种抗血小板药物,7.1%的患者使
教师生存状态是指在特定的历史文化下私立幼儿园教师群体所表现出来的物质精神形态或情况,本文从私立幼儿园教师专业发展、职业认同情况等方面调查和分析,结果显示衡水市私立