基于Hadoop的在线存储系统的设计与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:ninetails
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代,个人所拥有的数据量正在呈现爆炸式增长,个人所需要处理的数据种类也趋于庞杂。面对人们日益增长的需求,基于物理存储介质的个人本地存储存在着便携性差,存储容量较低且不易扩展,存储成本高等问题。针对本地存储的各种弊端,各大互联网公司纷纷推出了在线存储应用。依靠互联网技术以及云计算技术的高速发展,在线存储应用越来越被广大用户所接受,人们的存储习惯正在潜移默化中改变。与此同时,在线存储技术也处于发展之中,面临着传输速度慢,运营成本高等诸多问题。针对以往的在线存储技术所面临的问题,本文提出了一种面向高速局域网以及应用云计算储存技术的在线存储方式,并完成了整个系统的开发流程。首先,对在线存储系统进行了需求分析。文中调查了需要解决的问题,并分析了系统的功能性以及非功能性需求。同时,本文明确了系统中包含普通用户以及管理员两类参与者,并详细考察了参与者的用例。在完成系统数据建模、明确系统数据流向以及分析功能的基础上,将本系统分解为系统管理,文件操作,用户管理三大模块。其次,完成了在线存储系统设计与实现。该系统是对开源分布式系统hadoop的定制与改造,系统在底层采用了 HDFS以及Hbase技术,分别保证了用户文件和系统数据的可靠存储。同时采用了 B/S架构,方便用户使用,并能够屏蔽客户端异构性问题,具有跨平台使用能力。并且根据数据建模完成了数据库设计,在需求分析的基础上完成了系统详细设计,在web开发三层架构的理论指导下完成了系统的分层架构设计以及包组织结构的规划。在以上基础上,详细设计了各个组件的概要类图,以及通过序列图明确了各个功能的业务逻辑,最终完成了系统管理,文件操作,用户管理三大组件的设计。此外,本文使用J2EE技术和HDFS以及HBase提供的接口设计实现了系统中各个组件,并完成系统集成。在完成功能的基础上,针对HDFS可能出现的单点故障问题,探究了在线存储系统的高可用性方案。为了能够快速部署,提高系统可维护性,提出了一种hadoop快速部署的方法。最后,对整个系统的功能进行测试。为了确定整个系统能够按照需求分析以及功能设计所述完成业务逻辑,本文根据系统各个组件以及组件功能列表,逐条设计了各个功能的测试用例。通过测试确保了系统能够正常,稳定地为用户提供服务。与此同时发现系统中存在的问题及不足,并及时地进行修复。实验表明,本系统与传统系统相比具有高可靠性、可扩展性、高效性以及高度容错性等优点。而且本系统适合分布式地部署在廉价机器上,降低了运营成本,并且从整体上提高了数据带宽,达到了预定设计目标。
其他文献
《十九大报告》中的中国特色词语作为汉语语言中特有的表达,不仅形式独特,而且具有丰富的文化内涵和浓厚的政治色彩。为了准确传达其含义,实现交际目的,翻译技巧的选用尤为重要。由此,本研究探讨了翻译技巧及其选择的影响因素,以期为今后中国特色词语的翻译提供新思路。在纽马克交际翻译理论的指导下,本研究基于自建双语语料库,运用Tmxmall和Excel软件,采用定性与定量相结合的方法,系统分析了《十九大报告》中
口译是一种通过口头表达方式,将信息准确而快速地转化成另一种语言,从而实现交流目的的活动。由于口译本身的特点和现场的复杂性,译员常常需要“一心多用”,以求获得最大信息
随着信息技术的不断发展,信息爆炸使得信息量越来越大,信息利用率越来越低,推荐系统正被越来越多地研究和应用。本文介绍了推荐算法的相关知识,对协同过滤推荐算法的基本原理
目的:临床观察自拟祛瘀生新方对血瘀型女性药物流产完全流产率、孕囊排出所需时间、阴道流血持续时间、阴道流血量、尿HCG转阴情况、月经复潮所需时间、中医证候积分的影响。方法:将100例符合纳入标准的患者,随机分为观察组与对照组,各50例。对照组给予口服米非司酮片、米索前列醇片终止妊娠,观察组在对照组的基础上给予自拟祛瘀生新方终止妊娠,观察患者孕囊排出所需时间、阴道流血情况,阴道超声检查患者宫腔内妊娠物
近些年来,有机半导体微纳线及其阵列化受到人们的关注,主要是因为一方面它们具有质轻、价廉、柔性、大面积制备和电学性质易调制等优点;另一方面,阵列化在大规模制备高效率的
随着社会稳步发展和人民经济水平的不断提高,我国餐饮业一直保持着高速增长的态势。餐饮业行业规模和经营领域不断扩大,成为国内消费需求市场中增长幅度最高、发展速度最快的行业之一。与此同时餐饮行业也连带着有许多内部问题的产生,例如:食品安全保障问题、人力资源体制落后等问题,导致餐饮业面临发展瓶颈。企业的发展与绩效密不可分,为保证企业稳步发展,需要重视企业内部的人力资源管理系统。本文研究的A餐饮公司作为新生
由于近年来3D建模技术的快速发展,互联网上可用的3D模型库也随之出现爆炸式增长,越来越多的3D模型都可以方便地通过网络下载使用。这直接促使了3D形状检索技术的发展,即给出
本文为一篇英译汉翻译实践报告,翻译文本节选自美国拉乌尔·阿雷奥拉(Raoul A. Arreola)博士的著作《教师综合评价体系的建构》(Developing a Comprehensive Faculty Evaluat
药品质量是临床用药安全、有效的重要保障。中药复方制剂的成分复杂,传统的单一指标质控方法,已经不能代表中药复方制剂的质量优劣。建立较为全面的中药复方制剂质量控制方法
一直以来,每当提及时尚二字,人们总认为它是西方世界特有的产物,是属于西方国家的专有特权。的确,在时装业领域,无论是高级时装,还是工业化成衣,当今时尚业的走势大多都能在