论文部分内容阅读
进入21世纪以来,随着感知识别技术的飞速发展,以传感器和智能识别终端为代表的信息自动生成设备已开始大规模实时准确地开展对物理世界的感知、测量和监控。一方面是物理世界的联网需求,另一方面是信息世界的拓展需求,两厢碰撞催生出一类新型网络——物联网。物联网获得广泛应用需要解决的一个关键问题是物联网中间件中的信息处理部分,而复杂事件处理是物联网中间件的核心任务之一。物联网环境下的复杂事件处理面临着许多挑战,其中如何高效的检测大量的、高速的、实时的事件流,如何准确的计算由不确定事件源导致的不确定结果,为本文研究的重点。针对复杂事件处理的上述挑战,本文提出了一种用于解决不确定复杂事件流的处理方法USCEP,并在此方法的基础上进行了分布式并行的拓展。具体内容包括:(1)USCEP为不确定复杂事件流处理模型,该模型定义了自己的查询语言和运算符,并为每一个匹配树的节点分配记录缓冲链表来缓冲历史匹配记录,这使得不同匹配过程能够共享中间结果,大大提高了复杂事件产生数量。在每一个运算符匹配生成记录的同时,使用基于条件概率图/表的机制进行概率计算。为了更高效的处理多注册查询的情况,对USCEP进行优化,引入关联查询表来降低无用查询。最后的实验表明,USCEP在处理不确定复杂事件流时较之对比方法有一定性能提升。(2)USCEP的分布式并行拓展是建立在分布式实时流处理平台Storm之上。针对分布式应用的特点,我们对整个系统框架进行了详细描述,其中全局CEP引擎和局部CEP引擎的并行化方案为拓展重点。我们将并行分为基于流水线分层的并行和基于局部分组的并行,流水线分层并行是把查询匹配树的中间运算符节点作为单类型运算逻辑节点分开,实现不同运算逻辑首尾连接的并行流水线形式;局部分组是在上述逻辑节点内实现多实例化均分数据,待分开处理之后再通过边界合并达到并行效果的方法。实验结果表明,该方法能高效的处理海量的不确定复杂事件流。