数据流管理系统中查询优化和负载脱落技术的研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:qmhnfi77206
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据流管理系统是实时处理大量、快速、无界的数据流的系统,数据流本身的特点及面向流的应用需求对数据流管理系统实时、高效、稳定的查询需求提出了诸多挑战。本文从系统查询的高效性和稳定性两个角度出发,研究了数据流查询中查询优化和负载脱落两个方面的问题,设计了相应的模型和算法,并实现了一个数据流查询原型系统。 针对查询优化,本文从查询共享和查询调度两方面开展工作。查询共享即通过对数据流管理系统中相同或相似的存储结构和处理过程进行共享,达到减少重复存储和计算、提高系统效率的目的。针对数据流存储共享,本文设计了数据流查询过程中中间结果的存储结构,并设计了基于索引的共享队列二级间接存储算法,使得中间结果存储得到一定程度的共享。针对多查询操作共享,本文设计了相同查询操作提取的算法,通过对查询操作中相同计算资源的共享,减少了系统的处理开销。 针对查询调度,考虑到操作符在运行时轻重缓急的不同,本文采取为每个操作符设置优先级并根据优先级调度操作符的策略,设计了PriOperator模型,综合考虑了影响操作符优先级的四个因素,并通过为每个因素设定系数的方式,计算得到操作符的优先级并进行调度。然后,本文引入了基于模拟退火算法的人工神经网络方法,以影响系统性能的两个因素作为反馈,对影响操作符优先级的四个因素的待定系数进行学习,并将学习结果运用到操作符优先级的重新计算中,在节省系统存储空间的同时提高了系统查询的效率。 对于负载脱落问题,本文以存在连接操作符的情况时基于语义的负载脱落为重点,从负载脱落的时机、数量和位置三个方面展开研究。通过监测系统的负载状态,并在负载达到一定程度时进行预警,在缩小连接操作符滑动窗口的基础上,给出了负载脱落解决方法。同时,本文设计了一种语义学习机制,对相应元组属性进行监测并动态学习元组命中率状况,根据学习的结果确定语义负载脱落的谓词,使得系统负载脱落时能够尽可能提高系统准确性。在负载量减少时,算法能自适应性地删除负载脱落操作符,增加系统查询的准确度。 最后,结合本文研究的内容,设计并实现了一个数据流查询系统,作为本文相关设计模型及算法的运行平台。
其他文献
近几年对领域语言(DSL)的研究越来越深入,比如基于网络监控的网络监控语言、基于银行出帐系统的银行出帐语言等等。这些语言研究都取得了相当的成果,当某门领域语言被完善地定
随着通信技术,微电子技术和计算技术的发展,无线传感器网络逐渐成为无线网络研究的热点。其在国防、工业、农业,城市管理,医疗、环境等诸多领域具有非常广阔的应用前景。无线传感
单点登录技术是一项非常重要的网络安全技术。由于万维网服务技术的广泛使用,如何实现适用万维网服务特点的单点登录成为一个热点问题。 Kerberos协议为分布式网络环境中传
本论文研究的主要内容是以当前电子邮件服务应用现状和不同用户的需求现状为背景,充分考虑个人用户、企业用户和高校“数字化校园”建设中的校园网环境下使用电子邮件等需求,
无线传感器网络(WSN)是由一组传感器节点以特定方式构成的无线网络,其目的是协作地感知、采集和处理网络覆盖的地理区域中感知对象的信息,并反馈给观察者。无线传感器网络与效
如今,网络通信技术的发展日新月异,新的网络技术例如无线传感器网络、自组织网络、卫星网络等都在不同程度地改变着人们的日常通信方式。卫星网以其重要的战略地位逐渐成为当前
随着互联网的加速扩张,人们的日常生活也越来越离不开网络提供的各种服务,电子邮件(E-mail)即是其中应用最为广泛的一种。作为应用最早的互联网服务之一,电子邮件的出现大大改变
近年来,我国软件产业发展很快,包括软件产品线技术在内的很多先进的开发技术也进入到国内企业。当前已经有不少企事业单位已经成功的把软件产品线技术运用到了其各自不同的领
随着来自于互联网和企业内部网的信息不断增多,需要一种工具来帮助人们对这些信息资源进行组织、存储和访问。自动文本分类是主要工具之一。文本分类(Text Classification, T