基于Key-Value的海量日志存储系统设计

被引量 : 0次 | 上传用户:fzx0126
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现行的互联网企业数据中心拥有庞大的计算机集群,而每天产生的日志信息为海量(TB)数据,对于管理人员来说,如此海量的数据的的持久化以及搜索将是一个巨大的问题,基于ACID理论的关系数据库无法满足现行互联网数据管理的需求。而随着NOSQL技术的兴起,NOSQL数据能够很好的实现数据存储的横向和纵向扩展。基于BASE理论的KEYVALUE数据库选用AP为理论基础,在保证最终一致性的基础上,能够很好的满足可用性和分区容忍性。因为对很多特定的系统来说,绝大部分的检索都是基于主键的查询,因此KEYVALUE数据库存储将会是一个很好的选择,而另一方面,大量互联网数据在管理上并不需要保证强一致性,而只需要保证最终一致性。同时,KEYVALUE型数据库具有极高并发读写性能,能够很好的横向及纵向扩展、能够满足当前互联网应用中的海量数据的存储、管理、搜索、统计,具有高可靠性及高扩展性。本论文在研究现有流行的KEYVALUE数据库的设计原理、应用环境、特点及应用案例的基础上,结合海量日志型数据的特点,测试现有KEYVALUE数据库插入、搜索及持久化性能,在memlink基础上设计出数据的多级持久化方案,同时在分布式策略上使用ZEROMQ为基础,提出海量日志分布式存储系统架构方案、设计方案、部署策略,整个系统采用C语言编写实现,并最终完成性能测试工作。从最终的测试结果来看,本方案能够很好的降低部署和运行成本,在保证可用性以及最终一致性的前提下,具有极高的性能,即在兼顾效率条件下,本系统完全能够满足现有互联网海量日志的存储、查询、统计等各项需求。
其他文献
目的:探讨局部晚期鼻咽癌治疗期间营养指标变化,便于提前采取干预措施,增加营养,保证疗效。方法:2010-01-2010-10收集48例初治局部晚期鼻咽癌患者的临床资料,全部患者均接受
研究认为,澳门的大众体育公共服务体系应实行社会化管理模式,政府通过委托管理方式,由体育委员会对大众体育公共服务进行专业化管理。在社区建立相应的体育服务组织,统筹管理区域
目的:观察活血膝痹饮治疗膝关节骨性关节炎血瘀证患者的疗效。方法:将62例膝关节骨性关节炎血瘀证患者随机分为两组,每组各31例。对照组采用塞来昔布胶囊治疗,治疗组在对照组
现代服务业集聚区具有加快现代服务业发展的特征与动因,因此近年来全球现代服务业集聚区迅速崛起。发展现代服务业也是我国经济发展的必然选择。据此,我国面临着加快构建现代
纵观这几百年的《西游记》研究史,佛教与《西游记》的关系是西游学的重要组成部分。20世纪80年代以来,"佛教与《西游记》关系"的研究获得了长足的发展。研究者主要从佛教与《
伯明翰当代文化研究中心(CCCS)开张之初,展开的两个主要研究方向是工人阶级文化和青年亚文化研究。这两个方向其实殊途同归。因为青年亚文化研究的对象,正也是工人阶级的青年
查阅大量近几年相关文献,对中药抗肿瘤的有效部位筛选、有效成分的分离、鉴定研究进展进行综述。中药抗肿瘤研究目前已初具规模,在抗肿瘤的部位筛选、有效成分等方面的研究中
本文以江苏省两位特级教师执教的《牛顿第一定律》为例,梳理了科学方法教育的课堂操作策略。即从生活现象中,提取科学问题;在探究教学中,领悟科学方法;在问题解决中,应用科学
中国网络文学经过十几年的发展,已经在中国国内形成以内容创作为中心,以音视频、游戏动漫等为衍生的内容生态链。而以wuxiaworld网站为代表的中国网络文学海外著译平台的出现
目前,在进行公路网规划时,主要采用两种方法,即总量控制法和“四阶段”法,随着理论的逐渐完善,“四阶段”法被越来越多的交通规划者所采用。但传统的“四阶段”法仍然存在很多自身