实时数据流系统中调度算法的研究与实现

来源 :东北大学 | 被引量 : 0次 | 上传用户:yanhuo68
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息处理在通信、工业生产、商务处理等领域的广泛应用,数据已不仅仅拘泥于文件、数据库等传统的静态形式,一种连续、无界、不定速度的数据流已经出现在越来越多的应用领域,如:网络监控,传感器的数据处理,生产线管理,股市信息分析等。特别是在数字化、智能化的嵌入式系统中,需要对实时数据进行复杂、高效的分析和处理。对流式数据的管理是这些应用领域的核心问题,由此兴起的支持高性能实时计算的流式数据管理技术正在成为数据库领域新的研究课题。 在一些关键应用中,要求实时处理大量、连续到达、快速甚至爆发的数据流,在截止期内给出实时查询结果。由于系统资源(如CPU速度、内存容量等)限制,特别是在流爆发时,不可能实时处理完数据流上的所有数据,而是尽力处理尽可能多的流数据,以获得高质量的近似查询结果。 提供数据流管理功能的系统称为数据流管理系统(datastreammanagementsystem,简称DSMS),而调度策略是影响系统的整体性能最为关键的因素之一。在动态爆发的数据流环境中,如何设计实时调度策略,保证应用的实时需求,并获取高质量的近似查询结果,成为目前学术界和产业界关注的热点问题。 本文讨论了当有截止期实时约束以及存在有流爆发的数据流环境中,如何设计高效的固实时任务调度策略,以最小化截止期错失率(SDMR)的问题。首先给出了固实时模型定义,并提出批划分单位,作为准确划分批任务的依据。给出了一种基于Tick的基本批任务调度方法,称为BasicTickScheduling(BTS)方法,有效降低了系统开销。但BTS方法以统计计算(如服务开销、操作符选择度估计等)作为任务执行依据,可能导致无效的执行,并且不能适应于流速时变的流爆发特性。通过克服统计计算的不足并动态控制tick批大小、消除流速时变性造成的忙等待,进而提出了一种自适应的精确批处理策略,称为AdaptiveTickScheduling(ATS)方法,实现了最小化SDMR。理论分析和实验表明,在目前所有的批处理调度策略中,ATS方法是最有效的。
其他文献
移动计算时代,Wi-Fi等无线接入网络的逐渐成熟,移动终端设备功能的迅速强大,使得P2P网络通信在移动环境中的应用遇到了诸多问题。无线数据广播技术能够有效地解决移动网络通信的
纹理采用任意变化的重复图案描述广泛变化的自然现象。计算机图形学的目标之一就是实现真实感的绘制,因此纹理起着十分重要的作用。但是纹理的多样性使得在一个通用框架下描
近年来,Internet迅猛发展,已遍及到社会的各个领域。但是Internet在带给人们极大便利的同时,也充斥着许多不安全隐患。为了安全的使用网络,需要有平台运行防火墙、入侵检测等程序
数据挖掘是目前数据库和决策支持领域的最前沿的研究领域之一。而粗集方法是数据挖掘中的一个重要方法。入侵检测系统(IDS)是一种从计算机网络或者计算机系统中收集信息并分
本文首先简要介绍了微控制器调试的发展和当前常见的微控制器调试方式,以及Freescale8位微控制器对于调试的支持;然后进行监控程序的总体设计;然后以MC68HC908AP64为目标微控制
为提高分布式系统的可用性,研究者大都在系统中引入冗余,组通信技术是应用最广的一种空间冗余技术,是分布式系统的一个重要研究领域。 组通信中的主动复制技术和被动复制
联机手写字符的采集是指运用字符手写输入设备对规定字符进行采集,字符采集实际上是采集字符书写轨迹的坐标,然后将这些字符书写轨迹的坐标的信息转化为字符内码的过程。随着
Peer-to-Peer(P2P)作为以文件共享为初始目的的应用,允许任意终端用户对等体(Peer)间通过Internet完成文件交换。在P2P应用仅有的短短几年发展时间里,它已成为了占用Internet流
随着信息技术的发展及其在金融、交通、军事、生态环境检测、Web等领域的应用日益深入,海量数据大量涌现,向数据库研究者提出了新的挑战。存储介质的价格/容量比的迅速下降以及
客户群分析是分析型客户关系管理中最重要、最核心的问题之一。本文从客户群分析过程的全生命周期出发,运用数据挖掘方法,针对客户群分析各个阶段对数据挖掘算法的特殊需求,提出