基于Hadoop技术在分布式数据存储中的应用研究

被引量 : 11次 | 上传用户:lmtc5238
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着各国信息化步伐的加快,产生了海量的数据信息,非常需要一种有效的方法对海量数据进行高效的安全的管理和使用,因此,云存储得到快速的发展,云存储的研究也是多种多样。既包括大文件的存储,也包括系统可扩展性、可靠性和运行速度等,在这些研究课题的推动下,数据存储系统也从集中式发展到了分布式云存储。Hadoop是云存储的核心技术,所以基于Hadoop技术的分布式数据存储在云存储中起着中流砥柱的作用。本文首先对Hadoop架构以及相关技术进行研究,包括HDFS和MapReduce等关键技术,详细研究了HDFS的特点及其体系架构,并且利用它的负载均衡机制来提高系统的效率;其次研究了分布式计算框架MapReduce,研究了如何利用它来实现快速的分布式存储。通过对分布式云存储的关键技术进行研究之后,开始对分布式存储系统进行设计,系统设计的主要内容包括:其一,对系统的功能需求和性能需求进行了研究,制定了系统的设计原则与设计目标;其二,通过对系统的客户端和服务器端在进行通信时如何保证通信安全的研究,决定使用HTTPS配合SSL和数字证书来保证网络传输和认证的安全。本系统是在Linux系统下搭建的Hadoop集群,在实验室的环境下模拟实现的数据存取系统。本文研究的基于Hadoop的分布式云存储方案将有效支持PB级别数据存储、支持该可用性系统、支持高效率统计分析。本文基于Hadoop技术所开展的分布式数据存储应用研究,实现了数据的按列分布式存储,在按列查询和任务的分解与集合的基础上实现查询功能,达到了预期目标,具有一定的应用价值。
其他文献
电力系统的无功优化和无功补偿是减小网损、提高系统运行电压和系统稳定水平的有效手段,因此也是电力系统研究的主要方向之一。文章对当前国内外的无功优化和无功补偿进行了
研究目的:对重庆地区的类风湿关节炎患者焦虑、生存质量及抑郁情况应用心理学量表进行问卷调查。了解重庆地区的类风湿关节炎患者心理健康和生命质量现状,探讨各种因素对焦虑
本文是笔者对于《咏华山》教学片断的评析,以期与各位同行共同探讨。
研究背景:目前随着我国经济的发展和人口老龄化的加剧,我国恶性肿瘤死亡率增长趋势极为明显,目前已经成为我国人民的首要死亡原因,在对广大人民群众的健康造成了极大的危害的
<正>一、问题的提出幼儿礼仪是指幼儿在日常生活中与人交往的行为准则和规范。近几年,全国各幼儿园开始重视品德教育,但幼儿园礼仪教育多半以教育活动为主,教育生活化显得较
研究了分布式电源接入放射状配电网对配电网继电保护的影响。利用Matlab/Simulink建立了直接并网和逆变并网两种分布式电源模型,并对配电网进行距离保护整定计算。针对分布式
机床核心部件的精度在很大程度上决定了机床整体的加工精度,而主轴系统是机床主要的核心部件之一。在精密切削加工中,机床主轴回转误差对加工精度的影响大约占30%-70%,对于加
随着电子工业和微机电系统的快速发展,微型零件在微电子、微机械、航空航天、医疗器械、生物技术、国防军事等许多应用领域的需求日益增多。零件微型化对其生产成本、成形质
改革开放后我国经济持续高速发展,人民生活水平越来越高,为了适应人们不断提高的购物要求,大型商场大量的出现在我们的身边。大型商场的安全管理是商场管理的重点,为了适应时
在任何的移动商务营销活动中,对于用户身份的唯一性标识都是不可或缺的基础工作。因为各种交叉因素的诸多影响,部分移动用户频繁的出入移动运营商网络已经成为普遍现象。伴随