并行文件存储系统关键技术的研究

被引量 : 0次 | 上传用户:binguo404
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展、信息化电子化水平的不断提升,数据也呈现爆炸性的增长趋势。虽然传统单机存储技术的容量和性能在过去几十年取得非常大的发展,但是面对海量的数据,单机存储技术仍然力不从心。于是,如何构建一个高性能、大容量、高可靠性与高可扩展性的数据存储系统成为一个重要的问题,在这种大背景下,分布式并行文件存储系统应运而生。分布式并行文件存储系统是目前计算机学术界与企业界的一个研究热点,各研究机构与企业也已经取得不少成果。但是这些研究机构与企业所推出的产品,大多是针对自身业务需求设计,具有相当大的局限性与不足,还存在非常大的研究与改进空间。本文主要工作如下:(1)对比分析了GFS、Global File System等目前主流分布式文件存储系统,总结了它们的优势与不足,并提出一种新的分布式文件系统架构与扁平化文件组织形式。(2)设计了一种基于Hash表的索引结构与一种基于一致性Hash算法的扩展机制,并且通过模拟测试验证了一致性Hash算法具有比传统Hash取模算法更好的扩展性。(3)通过分析Linux文件系统的实现原理与细节,揭示了其在海量文件存储上的不足,在此基础上设计了一种基于合并机制的存储节点数据存储方案,并作了详细描述,最后通过实验验证了该方案具有比直接基于文件系统的存储方式更好的读写性能。(4)分析了导致系统负载失衡的两个原因:客户端的访问负载不均问题和热数据问题。针对前一个原因,本文提出了一种基于服务器负载模型与节点静态性能相结合的负载均衡策略,对客户端的访问负载进行均衡;针对后一个原因,本文提出了一种基于数据热度统计的副本数量管理策略,使热数据的副本数量动态增加,达到把负载分摊到多个节点的目的。
其他文献
创建生态文明城市,要破除发展理念、体制、机制等方面的障碍,坚持以人为本、可持续发展的价值观和政绩观,围绕民生目标广开思路、统筹谋划,拓宽开发路径,创新建设模式,科学规
目的观察及评价生物反馈治疗在功能性便秘患者中的治疗效果。方法对2008年9月至2011年10月我院78例功能性便秘患者进行生物反馈治疗前后的临床表现进行对比分析。结果生物反
正畸治疗错颌畸形能够提高治疗人群的口腔功能和健康水平,改善牙牙合和颜面美观。目前主流的牙齿矫正还是以传统的托槽、金属弓丝矫正为主。然而传统固定矫正方式有难以克服
<正>学生阅读能力的提高不是直线发展的,而是逐步加深、逐步发展、螺旋上升的。从字、词、句、篇的训练来看,低年级要重视字、词、句的训练;到了中年级,要在低年级的基础上,
目的探讨大学生社交焦虑与网络成瘾倾向的相关。方法使用社交焦虑自评量表和中文网络成瘾量表收集数据。结果①浙江省在校大学生中存在网络成瘾,其中高危险网络成瘾倾向者占3
<正>这两节课体现了金华市小语会的研究课题——半小时课堂的理念。这两节课给我的印象很深!刚才叶立新老师的讲座让我对这个课题有了初步的理解,我现在的理解是,半小时课堂
免疫应答不仅受到细胞增殖和分化的调节 ,而且受到程序性细胞死亡 (凋亡 )的调节。有研究认为 ,Fas FasL系统可能在调节DC的凋亡中起作用。然而现在大多数研究者持相反的观点
近年来,微创外科手术以其优异的医疗效果,逐渐被人们接受。将微创外科手术技术与机器人技术结合,弥补了传统微创外科手术存在的不足,加速了微创外科手术的进化。腹腔镜外科手
随着社会主义市场经济的不断发展,党中央对于反腐倡廉的认识日益深入,对反腐工作的决心越来越大,采取的管理措施日益具体化。国有企业作为我国社会组织的重要成员,应该明确当
<正> Kiyingi等曾报道用利尿剂-甲磺喹唑磺胺(metolazine)-治疗严重的充血性心力衰竭的效果。肾病综合征是另一类可以期望用利尿药治疗有效的疾病,但是作者们有时遇到对常规