基于DFS的构建服务器集群技术的研究与实现

来源 :成都理工大学 | 被引量 : 12次 | 上传用户:queenie88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
我们当前所处的时代是一个信息大爆炸的时代,由于信息技术的发展,特别是互联网的出现,产生并要处理的数据已经达到了PB(1PB=1024TB)级、EB(1EB=1024PB)级、甚至更多,这种级别的数据我们称之为海量级别的数据,随之而来的问题就是如何对这些海量数据进行存储,以及如何保证海量数据的高可用性。虽然这些问题在以前都已经有比较成熟的解决方案,但是当数据达到海量的级别后,以前的方法无力应对这一变化,所以我们必须研究新的方法来解决这些问题。数据到达海量级别以后,以上问题唯一可行的解决办法就是使用分布式文件系统构建服务器集群,利用分布式服务器集群技术来解决由海量数据所带来的一系列问题。本文首先对各种主流的分布式文件系统进行研究,在分析了各种主流的分布式文件系统的架构、优缺点及适用性之后,选取一款适合的分布式文件系统来搭建分布式服务器集群。本文研究了基于此分布式文件系统的分布式服务器集群搭建技术,采用Linux操作系统和Xen虚拟机软件搭建整个集群。在上述研究工作的基础上,实现了服务器集群的成功部署。在分布式文件系统中,文件存储分配的负载均衡算法是非常重要的一个部分,为了优化系统,提高系统性能,本文对选取的分布式文件系统的负载均衡算法进行了研究,分析了原有算法的不足,针对海量数据存储的实际应用需求提出了解决方案,对该算法进行了改进。改进后的算法经过测试验证,达到了改进要求,使系统性能得到了优化。本文取得以下成果:1.本文研究了各种主流的分布式文件系统,对每个分布式文件系统的架构、适用环境、优缺点等都做了深入的研究,选取了合适的系统来搭建本文的实验环境。2.研究了分布式文件系统的工作原理,掌握了分布式文件系统的各种工作机制。3.提出一个基于分布式文件系统的数据存储解决方案,搭建一个基于Linux和Xen虚拟机软件的实验平台,为以后进一步的研究打下了基础。4.研究了MooseFS分布式系统的文件分配负载均衡算法,提出了改进算法。经过实验数据的对比,改进算法达到了预期的效果。
其他文献
无线传感器网络应用广泛,是当前的一个热点研究领域,在许多应用场合,实时性是衡量无线传感器网络的重要指标之一。在无线传感器网络中,实时路由协议的主要目的是在保证数据实时传
在科技飞速发展的今天,计算机逐步走进了千家万户。与此同时万维网与人类生产和生活的关系也越来越密切,通过网络能够使得很多工作变的越来越方便快捷。比如网上银行、网上购
GIDS(GigabitIDS)是指能处理千兆及更高流量的网络入侵检测系统。报文分类算法作为GIDS的核心组成部分直接决定了该系统的检测性能。已有的高速报文分类算法主要通过使用高性
网络编码是一种可使多播传输速率达到理论上界的网络传输技术。有别于传统网络存储-转发模型,网络编码使用存储-编码-转发模型,在源节点和中间节点对欲传输的信息进行编码,并
数据挖掘是一个年轻且充满生机的研究领域。分类是数据挖掘研究的内容之一。朴素贝叶斯分类是应用比较广泛的分类方法,是贝叶斯分类法的一种,它可以与决策树和神经网络分类相
随着互联网技术的快速发展,网络成为人们获取信息的主要来源,为了能有效地获取这些信息,人们希望对网页实现自动分类。因此,网页分类成为实现快速检索信息的一项重要技术,它
图像处理与识别技术是一门跨学科的前沿技术,是当今的一个热门研究领域,取得了很多的成果,并在众多领域得到了广泛应用。   本文介绍了图像处理技术的发展现状和研究意义,并介
魂芯DSP(BWDSP)是一款采用分簇体系结构,支持超长指令字运行,通过在同一时钟周期发射多条指令的数字信号处理器。分簇结构的设计提高了指令的并行性,同时保证体系结构上不会
作为计算机基础软件之一,编译器的作用至关重要。现今已经有多种相对成熟的编译器。按照生成代码所运行的目标平台划分,编译器可以分为两类,本地编译器和交叉编译器。由于嵌
由于无限传感器网络具有功耗低、成本小等特点,所以它逐渐成为了计算机科学中一个热点研究方向,并拥有广泛的应用前景。其中无线传感器网络中使用的操作系统的各项性能的优劣直