Storm集群的高可用性关键技术研究

来源 :西安邮电大学 西安邮电学院 | 被引量 : 4次 | 上传用户:qinyongj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,诸多大数据环境下的应用呈现数据多源并发、数据聚合、在线实时处理的特征。原本承载着海量数据处理任务的Hadoop MapReduce计算框架,在实时数据处理方面,存在响应时间和及时性方面的诸多限制。这促进了实时数据处理相关技术的迅速发展,实时计算成为了目前大数据领域的研究热点。Storm作为应用于实时数据处理领域的大数据处理工具,可以简单可靠地处理大量数据流,具有广泛的应用场景,国内外很多企业都在研究和构建基于Storm的实时计算系统。但是早期的Storm集群中,Nimbus节点只有一个,存在分布式系统中的单点故障问题,降低了集群的可用性,很难保证对外提供持续不间断的服务。而且在现如今的实际生产环境中,集群版本和业务类型复杂多样,Storm自身又缺少完整的监控运维系统,如果不能及时发现异常情况,将给企业和用户造成难以预计的损失。如何避免损失,实现Storm集群的高可用性,成为企业不得不面临的一个重要问题。本文首先研究了实时计算系统Storm,详细分析了Storm的工作原理、作业提交处理流程以及各个节点的工作机制。针对Nimbus的单点故障问题,进一步分析了分布式协调系统Zookeeper,对其体系结构、数据模型、ZAB协议以及典型的应用场景进行了深入的研究。在此基础上,分析探讨一种基于Zookeeper的实现单个Storm集群自动故障切换的高可用性解决方案,并从领导选举与故障转移、Topology代码共享存储、客户端与Nimbus通信等方面进行了详细的阐述。结合当前企业的多集群工作环境,提出一种基于Zookeeper的多集群Storm高可用性解决方案,集群间提供冗余机制,当一个集群整体故障时可以快速把拓扑迁移到其他集群。通过制定计划任务和实现实时报警服务完善监控运维模块,实时监控集群状况和拓扑运行状态,保证集群的高效稳定。最后,通过搭建实验环境对高可用性解决方案进行测试,验证了该方案的可行性和有效性。实验结果表明,该方案能够及时发现定位问题并完成故障恢复工作,提高了Storm集群的可用性。
其他文献
地理信息系统(Geographic Information Systems,GIS)在经历其40余年的发展之后,以其数据处理、地理模拟和空间分析能力的强大优势已经渗透到生产、生活的多个方面。随着计算
随着铁路跨越式发展的不断深入,车务部门在既有信息化建设基础上,对现有信息系统进行集成改造,以提高信息化对于铁路跨越式发展的支撑能力,并缓解铁路信息化建设中凸显的异质
卡通渲染(Cel-Rendering或Cartoon Rendering)技术是非真实感渲染技术(Non-Photorealistic Computer Graphics,NPR)的一种,其目的是将输入的场景渲染成卡通风格,其绘制特点是
可视化作为理解复杂现象与数据的有效手段,在各个领域得到了广泛应用。其中,粒子系统方法是迄今为止用于描述不规则物体比较成功的方法之一,尤其是对边界不明显的模糊物体的
网格计算可为网格用户提供更多的资源、功能和交互性。对于像网格这样大规模的分布式系统,资源利用的合理性始终是需要关注的一个重点。因为网格中的已有节点可能会因为各种
随着经济的的发展、城镇建设速度加快,安全城市建设成为社会发展的趋势,安全城市建设大多以现有公安系统为主体,目标是建成涵盖整个城市的视频图像监控系统,目前安全城市的视
当今世界台风灾害所造成的破坏非常严重。由于它的不可预知性,常常在很短的时间内造成人员伤亡和财产的巨大损失,并可能直接或间接的导致其它灾害以及更为广义的社会灾害。将
无线传感器网络技术是一种集传感技术、微电子技术、通信技术、网络技术、信息技术等于一体的新兴技术。作为典型的无线传感器网络,其自身的自组织、动态性、易部署等特点使
海冰状态的监测是寒区海洋工程观测的重要内容。本文结合海洋工程实际,提出并实现了根据视频和图像分析来计算海冰密集度以及海冰流速和流向测定的方法,与传统的方法相比,本
自然场景中的文本检测与识别,比如路边或者建筑上的指示牌、交通标志、商品名称等关键文本的检测与识别是计算机视觉、机器人、盲人阅读等领域的重要组成部分。随着该领域的