数据流处理系统中查询任务管理的研究与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:jiaxing19871215
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着计算机通信和网络技术的迅速发展,在交通管理、网络监控与安全、股票行情分析、电信数据管理、传感器网络查询等诸多领域产生了许多基于数据流的应用。因为这些应用处理的都是大规模的数据,所以需要把多个不同的处理节点连接起来构成分布式处理环境,并把对数据进行处理的查询任务均衡的分配到各处理节点上,实现系统的负载平衡。由于数据流数据的随机性和不可预知性,使得传统分布式的负载管理技术已经达不到要求,因此如何对查询任务进行管理,使整个数据流处理系统的负载达到平衡则成为了当前研究的一个热点。本文主要解决的问题是如何对分布式数据流处理系统中查询任务进行管理使整个系统中处理节点的负载平衡。分别从静态初始化和动态运行这两个方面来进行研究,主要工作和研究成果如下:1.为了解决系统中查询任务的静态负载分配问题,通过研究现有算法,提出了一种基于最优2-交换的静态负载平衡算法,此算法不但考虑了各处理节点之间处理能力的差异性,而且还改进了启发式算法的缺点,将系统中查询任务均匀地分配到各处理节点,使任务的分配更加合理。2.为了解决数据流处理系统中在运行的过程中出现的多个处理节点间负载不平衡的现象,通过研究现有算法,提出了一种基于时延和负载的动态负载平衡策略,此策略考虑处理节点的负载和处理节点间的数据流量,并且采用双阈值把处理节点分为高、低、正常三种状态,只对处于高负载状态的处理节点和低负载状态的处理节点之间做查询任务迁移操作,减少了用户需求的处理时延,提高了系统的稳定性。3.采用本文提出静态负载平衡算法和动态负载平衡策略,设计并实现了分布式数据流处理系统中查询任务管理的解决方案。静态负载平衡算法完成系统中全部的查询任务的初始化的部署,动态负载平衡策略则实现在系统运行过程中查询任务在各处理节点之间的有效迁移。通过对系统中各处理节点的负载进行测试和分析,静态负载平衡算法和动态负载平衡策略达到了预期的效果,具有比较高的实用价值。
其他文献
布料动画的模拟最初是从可形变体模拟问题中衍生而来,该技术的研究已有二十多年的历史。随着数字娱乐需求的裂变式增长,布料模拟相关技术,尤其是角色服装动画模拟技术正被世界各
论文描述了如何在一款自主研制的16位RISC体系结构的嵌入式系统处理器SRP中嵌入USB功能部件,以实现SRP嵌入式系统对高速数据传输的迫切要求。 文中首先对SRP系统的自身特点
随着世界范围家庭结构由扩展家庭向核心家庭过度的趋势发展,以及出生率的不断降低,儿童的成长环境开始发生着一些巨大的变化。核心家庭的儿童相对缺乏像以往扩展家庭那样的支持
  Perl语言广泛应用于系统管理、Web开发、网络编程等领域,现在发行的主版本为Perl5。Perl6作为Perl的下一代版本,着眼于解决Perl5解释器难以维护的问题,并增加了许多新特性。
P2P计算是在Internet上实施网络计算的一种新模式。这种技术充分利用互联网和Web站点中的闲置资源,达到最大的资源共享和集成服务。现在以P2P技术为基础的企业信息系统正逐步
分布式安全是今后大型网络游戏、跨地区视频会议、P2P软件、即时通信软件等分布式应用日益关注的焦点。动态对等实体群(dynamicpeergroups)属于分布式系统的通讯结构之一,本文
消除噪声是图像处理中一个非常重要的预处理步骤,然而,噪声消除与边缘保持在实际当中构成了相对影响的一对矛盾.小波变换是近十几年来发展起来的一种新的信号处理工具,其多分
本文首先概述了网格技术的概念、特点和系统原理后,接着研究分析了计算网格中现在常见的几种资源查找方法。最后讨论了现有网格系统的资源调度设计,在对计算网格调度涉及的
  本文调研了一种图的数据挖掘的方法——Subdue系统使用的方法,该方法与我们的方法的目的都是挖掘子图结构,但是两者的思想是截然不同的。并且还对相关的数据挖掘知识做了详
  本文通过国际电子商务标准研究现状与趋势的分析,结合电子商务应用模式的发展,以构建第三方B2B电子商务平台为目标,研究和开发基于XML语言的电子商务技术标准集合——cnXML