基于图的大规模日志处理系统关键技术研究

来源 :清华大学 | 被引量 : 0次 | 上传用户:hzm_jjc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据中心和分布式系统会产生大量详细且具有关联关系的日志信息。利用这些信息可以快速的对系统进行错误诊断、性能分析以及有效价值挖掘。将日志建模成图的格式能够方便的把日志处理问题转化为图计算和图匹配问题。与此同时,随着服务种类和强度的进一步提升,基于图的日志数据规模在不断的增大,如何更加高效的处理这些数据成为了学术界和工业界研究的热点。除了图的基本特征外,日志数据还具有时序关系、结构多样等特点。这些特点给基于图的日志处理带来了新的挑战。本文通过对现有系统的分析,发现其性能瓶颈主要集中在磁盘I/O、内存计算、增量处理等方面。基于此,本文描述了针对以上系统瓶颈提出的一系列优化策略和改进方法。本文的主要研究成果包括:(1)针对日志图计算轮数过多,磁盘I/O量巨大的问题,提出了磁盘I/O缩减策略。降低了点访问局部性的要求,引进更加高效的算法。最大程度的汲取载入数据的有效价值,从而大幅度降低了计算的迭代轮数,显著的减少了磁盘I/O的总量。基于此,本文实现了全新的外存图处理系统CLIP。实验表明,CLIP实现的图算法性能要显著优于现有系统(能达到数十倍甚至数千倍的加速)。(2)针对日志图计算过程中内存计算并行力度不够以及CPU资源浪费严重的问题,提出了高效的选择性调度、串行算法的并行化、对角线优先的图划分和调度等优化策略。进一步提升系统的计算性能,从而匹配全内存以及快速存储设备的性能。实验表明,相比于现有的系统,在内存执行上能够达到最高43.3倍的加速比;在更加快速的外存设备上,最高提升了2.88倍的性能。(3)针对日志图查询CPU资源浪费过多、中间结果庞大的问题,提出了时序窗口匹配模型,将匹配的搜索空间限制到窗口内部。极大的降低了匹配的空间以及中间状态数量,从而显著的提升了计算的性能。实验结果显示,在内存模式下,比现有算法快出1-2个数量级;在外存模式下比现有算法快出2个数量级以上。(4)针对日志图在线处理过程中图重建速度慢以及增量计算性能低的问题,提出了基于时间窗口的高效并行动态图重构方法和新的针对动态图处理的增量算法。并基于此构建了在线日志图处理系统Pisces。实验表明,Pisces能提供每秒钟千万条边的图重构速度;提出的并行图匹配增量算法在16个线程下能达到10.77倍性能加速,而动态图计算增量算法相比于现有算法最高提升了45%的性能。
其他文献
本文阐述在中国传统文化熏陶与中国艺术精神影响下,继而做深入的理论研究与绘画创作实践,通过总体艺术创作理念,延伸架上绘画的广度,增加架上绘画的深度,从而展现创作理想与创作境界,从而引发人类反思生活与生命的意义。中国写意精神是源于庄子哲学艺术思想的,再经儒释道的相互影响而形成的,在绘画艺术中的体现是写意画。然而随着油画的百年民族化进程,当代中国油画迫切的需要具有中国文化核心的精神支柱。然而,中国写意油
通过对塑料薄膜红外光谱的研究,得到了快速定量无损伤测量塑料薄膜厚度的方法:记录不同厚度的同种塑料薄膜傅里叶变换红外(FT-IR)光谱,应用朗伯-比尔定律,结合红外光谱分析法
<正> 在小学数学教学中,我们常常会遇到学生对某些习题的解答发生争论,甚至教师也感到一时难以回答的情况。究其原因,很多是由于这些习题有的脱离实际,有的概念模糊,有的条件
亚历山大教授的《城市设计新理论》一书构想了一套全新的城市设计理论和方法,极大地弥补了现代城市设计所存在的缺陷。文章主要从书中所提的设计理念、细则等方面谈谈自己的
排水性沥青混凝土路面基于沥青混凝土本身不透水的特征,在混凝土表面增加相应的表层,利用抗滑混凝土作为包含物,使得雨水能够通过表层内部的众多孔洞进行排除,路面能够在雨量
<正>近年来,由于农药和化肥的不合理使用,导致山西省运城市农业面源污染有所加剧,农村环境污染日趋严重。畜禽、水产养殖造成的有机污染已直接造成水体、土壤、大气等资源的
20世纪70年代,伴随要素流动性增强,贸易壁垒减少,一种全新的分工方式全球价值链产生了。全球价值链分工突破了传统分工模式,实现资源的自由流动和优化配置。通过参与全球价值
在市场需求的强劲拉动、文化科技的融合支撑、社会资本的广泛参与和政府的大力支持下,中国文化产业从产业发展的初创期开始进入成长期,日益凸显出成长为国民经济支柱性产业的
<正>目的:观察贝美前列素点眼降低眼压的作用与副作用。方法:用贝美前列素对发育性青光眼、原发性开角型青光眼与高眼压症共62眼点眼与国产噻吗心(酉安)20眼点眼一月后进行比
会议
《诗经》中有大量爱情诗,且主要集中在《国风》中,这些诗篇集中地反映了古代劳动人民的情感生活和爱情婚姻家庭理想。受礼乐文化影响,《诗经》中理想爱情模式为"君子配淑女"