基于Java Web的分布式数据库访问及海量数据分析研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:deathadam
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,云计算、云存储、云安全在科学研究、企业应用、网络服务等领域成为持续发酵的热点话题,其所涉及的问题核心在于,针对海量数据进行处理、存储和管理。在信息技术广泛应用的时代,求解问题的数据规模持续扩大,企业级的数据需求已经达到数百乃至数千TB的量级,例如,天文观测数据规模在数千TB的量级,广电系统的视频数据往往在数百TB的量级。   海量数据处理的高效性与可靠性,成为制约云计算应用的基本技术瓶颈。传统的数据库甚至分布式数据库的理念,无法有效地容纳和处理成百上千TB的海量数据。在国际上,数千TB的天文观测数据,采用ROOT系统进行存储和管理。ROOT系统的海量数据存储理念,为云计算时代的数据存储的高效实现和管理,提供了可借鉴的范例。   在基于海量数据的数据挖掘与信息提取过程中,经过清洗、整理后的待分析数据,其规模往往会降低几个数量级,可以存放在分布式的数据仓库中,对数据仓库的分布式访问,其实现算法和实现过程的任何技术进步,都会对数据挖掘和信息提取应用软件的大规模运行,带来综合性能的明显提升。   在云计算的背景下,海量数据的高效存储管理,数据库的分布式访问,成为了相关应用软件研制和开发的基本技术,针对这两个问题的研究与分析,可以有效地缓解相关应用软件在数据IO方面的瓶颈,对相关应用软件的综合性能提升,有着重要的影响。   本文针对基于ROOT架构的海量数据存储与管理、基于分布式数据库的访问这两个问题及其实现技术进行调研、分析、解剖和研究,意图为相关应用软件的研制和开发提供数据I0方面的实用算法和程序流程,为相关应用软件的综合性能提升,解决其数据访问瓶颈。   本文针对JavaWeb的三种轻量级框架——Struts2框架、Spring框架和Hibernate框架进行了文献调研、框架结构分析和工作流程剖析,对分布式数据库的特点、体系结构和基本理论进行了系统的调研、梳理与学习,对JavaWeb框架下分布式数据库的访问给出了基本流程和模块设计。对ROOT框架的核心模块和主要功能进行了文献调研和分析,对ROOT框架的文件存储系统和输入输出系统进行了详细的梳理和分析,通过实验验证了ROOT框架的文件存储结构对海量数据分析性能的影响。
其他文献
随着计算机相关技术的日益进步和矿山、石油、城市地质调查、岩土工程等地质领域的迫切需求,科学计算、三维可视化及相关分析功能已经越来越成为行业专家在解决专业问题时不可
办公是企业和各类单位机构日常最频繁的行为,也是最基础和重要的工作。办公效率的高低直接决定企业运作的效率,直接关系企业的发展步伐,直接关系到企业的发展和生存。在竞争日趋
随着现代社会的发展,计算机科学技术正在成为主导当今社会的绝对力量。在现代计算机科学技术的发展过程中,通信技术和互联网技术已经成为发展现代社会的信息交换的主要技术,各种
随着现代科学技术的发展以及国家卫星体系的逐步形成,海量的、高空间分辨率、多波段数据的遥感图像数据日益增多,对遥感图像数据快速准确的浏览,并在此基础上进行图像的分析和处
随着视频监控网络被大量应用到各种公共场所,如商场,银行,交通路口,车站等,如何从海量视频监控数据自动提取有用信息变得越来越重要。视频监控网络一般采用多台摄像机覆盖多
随着信息技术的发展,互联网在人们的生活工作中扮演的角色越来越重要,越来越多的人开始使用互联网,各种新的互联网应用如雨后春笋般涌现,如C2C、B2C等电子商务网站、社区交流网站
网络广告发展迅速,在广告主品牌非行销部分预算中居所有媒体的第二位,并且有上升趋势。据行业数据,电子商务在中国网络经济规模占比持续扩大。互联网是电子商务的载体,网络广
中科院仪器设备共享管理平台(SAMP)的建设,主要为了解决中科院100多个国家级研究所的仪器设备管理封闭、共享困难和使用效率低等问题。仪器设备共享管理是时下很热门的研究领
随着计算机技术、互联网以及电子商务的飞速发展,网上购物已经成为一种重要的消费方式。但是现有网上商城的展示方式存在单一性的弊端,难以显示丰富的商品信息以满足消费者较
伴随着半导体工艺的不断进步,微处理器的集成度和工作频率迅速提高,微处理器系统的应用也日趋广泛。单个芯片处理能力的不断增强,产生了对IO互连通信带宽的巨大需求,工业界为