异构大数据存储方法研究

被引量 : 28次 | 上传用户:pengweimin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网Wleb2.0技术的发展,数据量呈爆炸式增长,数据存储亦面临巨大挑战。在当前的大数据环境下,传统关系数据库由于自身特性的限制,难以很好地满足数据存储提出的新的需求。因此,有必要对异构大数据环境下的数据存储方法进行研究,寻找满足特定需求的通用的数据存储方案,为大数据存储问题的解决提供参考和借鉴,具有重要的理论意义和实践价值。大数据的存储方案是由要实现的功能所决定,对于不同的需求,采用不同的存储模式。本文选取Web2.0应用的典型代表——微博系统进行研究,符合大数据环境下海量数据、实时性强、大量读写操作、高并发的特征,具有较为通用的意义,主要的研究内容包括以下几个方面:首先,针对大数据的产生及所带来的挑战,从技术的角度论述了非关系数据库的发展历程。从总体上对关系数据库和非关系数据库的特点进行了对比,详细分析了关系数据库的优缺点及在大数据环境下遇到的瓶颈,深入研究了非关系数据库的架构、理论、特征及存储模型,阐述了其相比于关系数据库所存在的优势。然后,从功能上和性能上对微博系统具体的存储要求进行了深入分析,采用非关系数据库中三种具有不同存储模型的数据库,包括Redis、HBase和MongoDB,结合各自的特点来研究微博系统相关存储功能的实现,提出了适合微博系统的数据存储方案,设计了数据存储结构,可以满足对实时性、扩展性、可靠性和并发性的要求。同时使用关系数据库进行设计,通过对比,从理论上证明了非关系数据库研究的合理性。最后,针对微博系统设计的存储结构,选取典型的测试场景,使用不同数据库平台,进行了一系列的验证测试。通过对测试结果的分析与比较,可以证明本文设计的数据存储方案是有效的,能够满足微博系统的存储需求,并为异构大数据环境下具有类似需求的数据存储问题提供解决思路。
其他文献
预测了2015年珠江三角洲机动车空气污染物和温室气体排放量,设计了6类单一控制、技术控制、结构控制以及综合控制措施的情景,并运用基准线年排放清单编制和协同效应坐标系法
人才战略是整个企业发展战略的核心。在中小企业的生存与发展过程中,人才起了关键性的作用。目前,中小企业已经成为推动我国国民经济发展的重要力量,但是同大企业比较,中小企
<正>社区教育政策的特性表现在:社区教育政策的指向是社区全体成员;社区教育政策的目的是实现社区和谐;社区教育政策的执行突出地方政府的自主性。当今世界,教育政策已越来越
本文主要介绍ISO TC184/SC2分技术委员会工作范围的改变以及机器人标准开发的最新动态。
EVA应用在企业管理中,是一套完整的价值管理体系。该体系围绕EVA这个重要目标,由四部分组成:企业经营业绩考核体系、企业管理模式、企业激励制度和企业理念体系。EVA管理系统
在我国,新娘的婚礼服装多以中国传统旗袍和西方的各式婚纱为代表,我将从款型、色彩、品性三方面比较旗袍和婚纱的不同风格,带给人的知觉差异、心理影响、审美不同。以此来影
在分析船舶倒车冲程的基础上,应用交通流跟驰理论,研究超大型船舶纵向间距,建立超大型船舶安全纵向间距计算模型,并分不同情形给出计算实例。运用该模型对渤海深水航路超大型
<正>中关村要以设立"城市大脑"研究院为抓手,积极探索建设机制创新,保障"城市大脑"又好又快建设,成为全国"城市大脑"建设的试验田和样板间。随着人工智能、大数据、云计算等
从加热炉热量输入项(燃料燃烧热、板坯带入热、热空气/热煤气带入热、板坯氧化热)和加热炉热量输出项(板坯带出热、烟气带出热、炉体散热、水梁冷却水带出热、炉体冷却水带出
农民工问题是中国经济和社会发展中的一大难题。农民工作为城市建设的重要参与者,为改革开放以来我国的城镇化建设作出了巨大的贡献。在我国城镇化发展取得巨大进步的同时,农