基于Hadoop的结构工程海量数据处理系统的研究与实现

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:dyjianing88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学实验规模和精度的不断提高,很多科学工程领域产生了大量的实验数据,这些数据的规模往往呈GB、TB甚至PB级别,并且在以更大的规模不断增长。当前,大跨度建筑和桥梁、高层和高耸结构、特种和重型结构的不断涌现,新材料、新结构、新工艺的日益进步,正在推动着结构工程理论和技术的向前发展,而每一项新技术的涌现和发展都离不开大量的科学实验。如何对实验产生的海量数据进行高效的存储和分析处理有着十分重要的现实意义。   本文根据结构工程领域实验数据的特点,选择Hadoop分布式模型进行研究和开发,建立面向结构工程实验海量数据的存储和分析处理系统。   首先研究和分析了Hadoop系统的基本架构、基本原理,重点研究了Hadoop的文件系统HDFS的结构和设计要点、MapReduce计算模型的原理和实现技术,搭建了Hadoop分布式系统架构。   重点设计和实现了基于HDFS的结构工程海量实验数据存储系统,该系统包括数据文件的存储结构组织、查询、传输、图形化显示、文件由HDFS向GPFS的转存等功能。研究和实现了基于MapReduce计算模型的结构工程海量实验数据的分析处理系统,该系统包含数据的预处理和二次处理功能。实现了面向结构工程领域的数据分析处理的典型案例,包括案例的数学模型分析、MapReduce程序实现、程序性能的分析比较等内容。   最后,在北京工业大学网格中心云计算实验平台环境中,对系统的各项功能进行了实例验证。实例验证结果表明,该系统较好地解决了海量实验数据的存储、传输、分析处理、数据转存等关键问题,促进了数据资源共享,提高了数据的使用效率,具有较强的实用意义。  
其他文献
鉴于信息安全等级保护的重要性,世界各国政府对其相当重视,有关人员对其的研究一直没有间断,纷纷制订了信息安全等级保护的战略与措施。其中,访问控制的研究是很重要的一部分,其为
似乎不相关回归模型(seemingly unrelated regressions model SUR)是由多个回归方程组成的方程组,它与多元回归模型的区别在于允许各方程存在不同的自变量,这样的特性给统计
门限数字签名是对普通数字签名的一种推广,也是门限密码体制的重要组成部分,在电子商务和电子政务等领域都有着重要的应用价值。它的主要功能是将签名权力以门限的方式分发给
本课题依托于中华人民共和国住房和城乡建设部关于全国房屋登记信息系统的可行性研究。   随着信息技术的快速发展,电子政务在全球范围内收到越来越多的重视。为了应对这
随着计算机技术的发展,信息化在农业生产中的应用越来越广泛,生理生态模型主要用数学模型模拟作物与外界条件对作物生长的影响,成功的生理生态模型可广泛应用于理解、预测和调控
煤矿安全生产一直是关系到煤炭工业持续健康发展的头等大事。近年来,煤矿事故频发,每年都有成千上万人在煤矿事故中丧生。因此提高煤矿安全生产迫在眉睫。目前,煤矿企业使用
随着互联网上网页数量的爆炸式增长,网页中知识挖掘的研究成为热门话题。命名实体是网页中人们感兴趣的专有名词和特定的数量词,表示现实世界中具体的或抽象的实体。网页中的
可信计算作为一种行之有效的信息安全解决方案,目前已经成为信息安全领域研究的一个重要方向。软件的可信性度量是可信计算领域的研究分支之一,分为静态可信度量与动态可信度
信息化管理是提高企业竞争力的重要手段,使用数据库系统来进行管理已经非常普遍。通用数据库系统不仅开发和维护成本低于普通的订制软件,而且在功能和使用上也可以根据企业的
无线传感器网络(Wireless Sensor Network,WSN)是一种集成了传感器、嵌入式计算、网络和无线通信等技术的新型无基础设施的无线网络,它由部署在监测区域内的大量廉价微型传感器