论文部分内容阅读
随着计算机技术的飞速发展与应用,全球日均数据量持续呈级数式增长,传统的单机模式系统越来越难以对大规模数据进行有效的分析处理。与此同时,分布式计算框架Hadoop的出现,使得分布式系统的开发成本大大降低,传统企业进行分布式系统开发的需求迅速增加。本文以分层架构模式为理论基础,参照模块化和组件化的设计原则,结合分布式系统开发的特点,设计并实现了基于Hadoop的应用系统开发框架IMSAA。IMSAA框架将整个系统划分为数据导入层、数据管理层、数据服务层、数据应用层以及数据访问层五个层次。通过这种分层框架的划分,使得基于Hadoop的分布式系统开发的流程更加简单,各层次之间分工明确,耦合度得到很大的降低。本文主要研究内容包括:首先,分析大数据时代的发展背景,调研国内外相关理论与技术研究现状,分析分布式框架的研究意义;其次,对IMSAA框架进行通用需求、功能需求及非功能需求分析,明确框架的需求架构;随后,基于分层架构及插件架构的设计思想对IMSAA框架进行总体架构设计,并对框架的六大模块进行详细设计与实现;最后,使用IMSAA框架设计实现矿山技术经济评价系统,并通过系统测试验证IMSAA框架的可行性以及高效性。系统测试的结果表明IMSAA框架使软件的体系架构更加合理,提高了分布式应用系统开发的速度与效率,有效降低各个模块之间的耦合度,为分布式系统的设计与研发提出了新的解决方案。