面向FLINK流处理框架的容错策略优化研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:osinfobyl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据、物联网技术的发展,市场上涌现了大量实时性要求较高的应用。该类应用要求数据被实时地收集、处理和分析,进而能够以亚秒级的延迟实时交付数据的处理结果。流计算正是为实时计算而生的一种新型计算范式。流式应用通常持续不间断运行,难免运行过程中会遇到各种故障,尤其是在大规模的分布式环境下。因此,流计算中的容错恢复一直是该领域的研究热点。传统面向流式应用的容错策略主要包括:主动备份、被动备份、上游备份以及检查点的卷回恢复。每一种容错手段都各有利弊。Flink流处理框架基于栅栏模型实现了一种轻量级的异步检查点,然而在使用过程中仍表现出一些不足之处有待优化改进。其一,Flink仅支持固定间隔的检查点。检查点间隔作为影响容错开销与故障恢复时间的重要参数,如果能根据流数据的动态变化从而进行相应调整,将能大大地提升系统的运行效率。其二,Flink仅支持基于检查点的容错机制。在面向高可靠要求的流应用时,单一的检查点恢复机制难以满足应用快速恢复的需求。为了解决上述两方面问题,本文分别提出了两种优化改进策略。一是检查点间隔优化模型。本文基于开环Jackson排队网络提出应用处理的延迟模型与检查点的故障恢复模型,并基于该模型提出检查点间隔的优化方法。实验结果表明,本文的性能模型可以较好地拟合Flink系统的实际运行效果,并能根据系统可靠性相关指标推荐优化的检查点间隔。二是面向关键任务的部分主动备份优化策略。本文从作业的拓扑图的角度,分别采用网络连通性分析与改进的PageRank算法对任务的关键度进行排序。并在关键路径分析的基础上,找出资源约束条件下的前N个关键任务进行主动备份,从而进一步提高了系统的可靠性。实验结果表明,本文提出的部分主动备份方法,可以在充分利用系统闲余资源的同时,确保关键任务的快速故障恢复,从而提高了应用的整体可靠性。
其他文献
习近平总书记在全国高校思想政治工作会议上强调,要把思想政治工作贯穿教育教学全过程,实现全程育人、全方位育人。上海中医药大学首创"跨界协同育人共同体"思想政治教育创新
在对烧结厂转载点附近沉积粉尘进行分析的基础上,提出了以单个转载点为处理单元,新型湿式除尘器就近处理、分类排放的治理方案。运行显示:0~9.98μm的呼吸性粉尘的除尘效率约为92.3
科学活动是幼儿最喜欢的活动。它既能满足幼儿的动手需求,又能满足幼儿的好奇心。开展好科学活动,对于幼儿一生的发展都有着十分重要的影响。根据《纲要》中科学目标的第一条要
主要综述了紫草色素的基本性质和生物活性,以及相关的应用研究。
采用基于语料库的话语分析法,从元交谈、信息引导和人际互动三个功能维度考察了母语为汉语、英语的两组高校英语教师课堂元话语的使用情况。研究发现,两组教师在元交谈功能上
传感器技术在现代农业生产中可谓无处不在,文章重点探究了光电传感器、称重传感器和无线传感器在农业生产中的应用实例,在此基础上从微型化、智能化和多功能化三方面展望了农
改革开放以来,我国经济增长速度屡创新高,我国已一跃成为世界第二大经济体,但经济高速发展的背后却接踵而来了环境污染问题,对此,提出节约资源和保护环境的基本国策,实现国民
×××人民政府区长(2010年×月×日)同志们:这次区政府全体(扩大)会议的主要目的是,贯彻落实省委十二届七次全会、市委三届十四次会议和区委四届二十次全会等有关会议精神,
自地理大发现和新航路开辟以来,经济全球化和世界贸易一体化加速了人口、资本、物品在全球范围内的流动和交流,欧洲人显示出了对海外各类奢侈品的独特爱好和狂热需求。17—18
  本文简要介绍了箱式变电站的结构和优点,着重讨论了箱式变电站存在的若干问题和解决方法,指出了智能化方向是箱式变电站未来的发展趋势。