非结构化数据统一存储平台的设计与实现

被引量 : 0次 | 上传用户:pfeiyuan2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今互联网上的数据正在呈现出迅速增长的发展趋势,这种趋势不仅仅体现在数据的数量上,同时也体现在数据的种类上。从传统的文本数据到如今的网络文档、图片、音频以及视频,互联网数据的主流逐渐从结构化数据转变为非结构数据,而这些日益增长并种类繁多的非结构化数据,为互联网数据的存储管理带来了新的挑战。本文首先研究了针对各类海量非结构化数据的存储问题所提出的解决方案,分析出各存储系统所存在的问题,从而总结出实现非结构化数据统一存储的关键问题。然后,针对具有海量、异构、关联等特征的非结构化数据的存储问题,提出了非结构化数据统一存储管理平台D-Ocean Repository,通过解决元数据管理、统一数据接口、异构存储以及数据的高可用性与一致性等关键问题,融合了HDFS, HBase, MySQL, XMLDB等各类存储设施,并通过异构存储设施的选择机制,解决各类数据的高效混合存储问题。同时,基于统一存储平台,本文设计并实现了一个非结构数据的批处理框架,利用数据统一存储的特性,解决了各类非结构化数据的统一处理问题,并基于MapReduce架构实现了数据的高效并行处理,使得计算资源与数据存储得到有机结合。最后,本文还实现了一个使用D-Ocean系统作为后台数据管理的互联网应用——互联网跨媒体新闻检索系统,用以证明非结构化数据统一存储平台的实用性,有助于未来面向更多非结构化数据的互联网应用实现。
其他文献
随着我国市场经济体制的建立和发展,构建良好的个人与企业信用信息体系已成为信用体系建设的主要任务。良好的信用信息体系可以为信用信息的公开与共享降低成本和时间,促进信用
液态合金的充型能力是合金的一个重要的性能,良好的充型能力是获得具有完整形状和清晰轮廓的铸件的前提条件。因此,对铸造合金充型能力的研究具有重要意义。本文设计了一种新型
墓志铭(尤其考古发掘者),作为一种重要文献资料,久被各界学者所重视。近些年来,唐代墓志随着考古的不断发现,研究成绩显著。不少学者将唐代墓志铭做了较全面、科学、系统的搜
“三农”问题贯穿我国经济发展的始终,其基础战略性地位不言而喻。对该问题的重视,既是我国经济长久稳定发展的保障,更是夯实以内需拉动经济增长的新模式的基础。农民经济收
文章通过文献查阅和实地调查方式,从糌粑质量评价指标、糌粑原料、工艺改进及产品质量安全研究方面,阐述糌粑质量控制研究现状,梳理了糌粑质量安全方面存在的突出问题,提出下
装载机是一种使用广泛的工程机械,广泛用于建筑、矿山、水电、桥梁、铁路、公路、港口及国防工程中。装载机车架一般包括整体式车架和铰接式车架两类。整体式装载机车架是一个
本文以冷发射装置结构动力学试验平台为研究背景,依照实际情况模拟冷发射快速反应性。本文以液压缸活塞杆底部快速冲击平台,模拟冷发射时地面或车辆所受载荷,并从所需性能指
现如今,互联网行业的飞速发展,各种新的媒体形式深入到社会的各个角落,与人们的生活息息相关。手机作为移动新媒体,从通讯工具转变为一个可以互联互通的多媒体终端。H5凭借其
政府采购制度是行政法领域的一个新兴课题,该制度是指国家机关、事业单位和团体组织等公权力机关,运用财政资金,通过合同的方式有偿购买工程、货物和服务的制度。直到2003年,我国
保障性住房曾经是中国城市居民最普遍的居住环境,但随着市场经济浪潮和房地产的兴起,一度淡出历史舞台。近年来随着市场经济发展的深入和房地产的不健康发展,带来了一系列的