面向海量NetFlow流数据的快速查询处理技术

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:llwjm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的不断发展,网络无疑已经成为人们日常生活的重要载体之一。随着网络应用不断丰富,网上用户量不断增加,网络上的数据流量也相应地飞速增长,为了保证网络高效持续地发展,保障网络安全,对整个网络进行有效的管理变得愈加重要。通过采集网络上的流量数据并进行相应的存储分析,可以监控整个网络数据,进而对网络异常情况进行预警,有效的管理整个网络体系。   然而,不同于存储在磁盘上的传统关系数据,网络数据流是以快速、无限、连续的流的形式存在。由于网络流数据具有资源分布性和异构性等特点,并且数据量持续不断增加。因此,网络管理系统对于流数据的存储、计算、处理有很多高性能的要求。在流式数据持续、高速加载的情况下,索引技术不再适用(建立/更新索引的代价过高),需要设计一种定制的、有针对性的存储结构,以及与之相适应的查询处理算法。   本文通过分析NetFlow流数据应用系统的相关研究,针对查询算法和结果集的处理算法进行了相应的优化处理,实现了一个具有良好性能和高可扩展能力的流数据查询系统。   本文主要贡献如下:   1.研究了分布式流数据查询系统的体系结构,并以此为基础设计并实现了分布式流数据查询系统Flowdb,提供对流数据的可扩展的存储和计算能力。实验表明,该系统取得了良好的性能。   2.设计了适用于应用场景的流数据查询语言,并结合场景中流数据的存储结构的特点采用了“超立方体”的查询匹配算法,在空间维度的查询扫描有效地过滤出不符合的流记录,减少被检索的流数据的规模,有效地提高查询的速度,满足高并发用户的低延时响应要求。   3.设计基于预分配空间的查询后处理算法,提供可配置的结果集存储空间,无差别地处理单节点和跨节点查询,减少了临时结果集存储过程中动态分配内存的开销,提高了查询后处理的速度。
其他文献
高光谱遥感是目前遥感技术的前沿,其纳米级的光谱分辨率能够提供更加丰富的地物信息。随着高光谱遥感的在各个领域的深入研究,其广泛的应用价值备受到国内外的关注。   高光
访问控制技术是信息系统安全的重要保障,在SOA架构及云服务日渐成为主流的今天,目前基于角色的访问控制技术难以适应跨域的访问控制要求。XACML标准中提出了基于属性的基本访问
数控伺服进给系统的性能不仅直接影响着机床加工精度,也间接关乎数控加工能力能否充分发挥。传统数控伺服系统的调整常常是对单轴进行的,如响应速度、超调等方面的优化,但在
高光谱遥感是20世纪80年代兴起的新型对地观测技术。与传统遥感技术相比,高光谱遥感能够探测到更多的物质,其最大的特点是能同时获得观测区域的图像信息和光谱信息,是当前遥感领
随着新疆维吾尔自治区社会经济文化的不断发展,互联网中的维吾尔语网页信息量呈指数增长的趋势,但是与此同时,各种不良信息也同样开始大量充斥其中。因此研究和开发科学的、高效
地质勘查工作是国民经济建设的基础性与战略性保障工作,地质勘查工作质量的优劣直接关系到国家经济建设的持续、健康发展。建国以来国家各级政府及社会对地质勘查工作投入了巨
主元分析是如今在矩阵降维和数据分析用的最多的工具,目前已经在故障诊断、数据压缩、信号处理和模式识别等领域有广泛的应用。然而,传统主元分析方法在许多应用里面,却显得
信息系统中往往存在各种各样的数据形式,例如以关系型数据格式在数据库中进行存储、以XML格式在Web上进行发布和交换等。不同格式之间的数据转换是实现信息交换、信息迁移和信
学位
复杂网络是研究复杂性科学的重要模型和工具之一,随着对复杂网络的研究,人们发现了复杂网络的许多重要的性质,其中社团结构是复杂网络最普遍最重要的拓扑性质之一。发现复杂网络