基于查询计划的分布式复杂事件处理技术研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:saddd11
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络时代产生了不断爆炸式增长的数据,如何对这些数据进行处理获得有价值的信息是计算机领域研究的重点。以往的数据挖掘相关方法中,需要对数据进行建模并设计专门算法,灵敏度较差,不能满足如今种类繁多、产生速率过快的数据处理需求。复杂事件处理能够对来自不同数据源中的海量数据实时地进行处理,将简单事件合成高层次事件,提取有意义的信息,并最终做出响应。但是大多数复杂事件处理都是按照集中式处理架构,如今大多数的应用,尤其是面向物联网的应用,其主要特点就是分布式部署结构,而物联网应用产生的数据具有异构、分散和海量等特征,使得很难再用传统的复杂事件处理想法来满足要求。针对上述问题,本文主要研究了基于查询计划的分布式复杂事件处理技术,通过有计划的分布式复杂事件处理能够有效地处理海量实时数据。本文主要研究内容如下:(1)提出了一种基于事件流划分的分布式复杂事件处理(PDCEP)框架,该框架能够接收多个不同的数据流,在输入管理器和查询管理器协作下发送事件流给复杂事件处理引擎进行多节点的分布式处理,处理结果发送给输出管理器。(2)在PDCEP分布式框架的基础上,提出了一种基于事件流划分的操作分布式复杂事件处理(ODCEP-ESP)方法。该方法分为基于查询事件类型的事件划分策略和对复杂查询进行划分的操作分布式方法两个方面。事件划分策略基于查询所需的事件类型有计划地进行事件流的划分,每个划分都看作是一个查询计划的生成。操作分布式方法是指将查询分成不同的子查询序列以处理复杂查询的方法。每个步骤都分配给系统中的一个操作符节点,有计划地进行处理。(3)针对大量复杂事件查询序列存在相同子表达式的问题,本文提出了一种查询重写方法,对复杂事件查询进行优化。首先根据查询表达式构建相应的表达式图并进行合并且给出了合并算法,然后在此基础上提出了一种基于表达式图(Expression Graph,ExpG)的查询重写方法,该方法通过识别不同表达式的公共子表达式,进而对其进行合并、共享和重用,实现冗余过滤和提高效率。查询表达式用多个对应的表达式图进行表示,且表达式图与复杂事件也是一一对应的关系。最后通过实验验证了算法的有效性。
其他文献
在1958年的金门炮战期间,我人民解放军空、海军航空兵部队首次进驻台湾当面福建省多处机场,以积极、果断的作战行动夺取了福建、粤东地区的制空权,并密切配合陆、海军达成封锁金
水行政执法是水行政管理的重要组成部分,也是行政执法体系中重要的一环。现如今水行政法律法规体系基本建成,水行政执法虽也日臻完善,但在现行有关研究中鲜见从法律的角度来
对于布什的东欧反导计划、普京的回应是典型俄国式的——试射一枚可装10枚核弹头、从未为人所知的洲际导弹。一切迹象表明,它才是未来将要悬在欧洲之上的达莫克里斯之剑。而“
各种迹象表明,已有15年之久的欧盟对华军售禁令有望出现某种松动,中国和欧洲的双边关系会因此得到进一步发展。北京是布什连任的第二大赢家,除了“反恐”战争增加了中美在朝核和
二次火战结束后,英国国力在两次规模空前的世界大战中严重削弱,数百年积累的巨大财富消耗殆尽。随着国力的一落千丈,英国皇家海军头顶的光环也逐渐褪色。到了上世纪8、90年代,英
随着电力电子技术的发展,多电平逆变器逐渐发展成为实现中高压大容量功率变换的首要选择。在多电平逆变器多样化的拓扑结构中,二极管箝位型(NPC)三电平逆变器因其器件耐压要
在晓庄学院的学生中展开问卷调查与人物访谈,同时进入大学生人才招聘会进行现场调研。分析当下大学生理论与实践能力的现状,发现问题并找寻恰当地解决方式:可从大学生和学校两
我院自1978年12月~1987年11月猝死复苏成功5例,均为男性,年龄60~69岁。猝 死复苏的标准:1.病人出现症状或体征后6h内心脏停跳,经抢救复苏者;2.存活标准指经急救后恢复心跳,自主
陕化集团BDO装置废硫酸中含有有机物、硫化物等杂质,若采用常规废硫酸处理装置,投资大,生产成本高;而直接将其作为磷铵装置的原料,则会影响系统的正常生产。基于磷铵生产条件
航母一直是美国前沿存在战略的核心,也是20世纪90年代以来美国军事行动的先锋。然而,本文作者劳伦斯·斯皮内塔却认为,与陆基空中力量相比,航线的作战效率不高,行动成本却极其