基于Hadoop的深度包检测技术的研究

来源 :天津理工大学 | 被引量 : 5次 | 上传用户:fangfei123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的迅猛发展,使得国家、企业、高校以及其它关键部门的安全事件呈现的增长趋势,网络安全问题正面临着前所未有的挑战。尤其随着日益增长的网络流量和多样化的攻击手段,对网络安全领域中深度包检测技术提出了比以往更高的要求。目前,深度包检测技术能够检测数据包的应用层数据内容,但由于其检测匹配计算量较大,难以应对高速网络流量的检测分析,使得检测效率越来越低,漏报率和误报率不断增加。本文针对当前深度包检测技术遇到的问题,提出了一种基于Hadoop的深度包检测方法并设计成系统。该方法利用具有并发处理海量数据的分布式框架Hadoop检测匹配处理深度包,实现对网络数据包的高速检测。主要研究内容如下:首先,采用一系列方法优化深度包检测的性能。主要从协议分析、规则优化划分、缓存策略这几个方面改进深度包的检测性能。通过对网络数据包的协议解析,减少待匹配内容。优化规则组织结构,构建四维链表,在缓存中对规则分类处理,让检测引擎快速定位到规则位置进行快速读取。其次,提出了基于Hadoop的深度包特征匹配方法。通过对Hadoop的框架运行机制进行研究分析,对其参数进行优化并设计了一种MapReduceAho-Corasick算法。它将传统的Aho-Corasick算法运用到MapReduce分布式编程模型中,实现多模式匹配算法并行处理,利用HDFS存储数据包和检测出的异常告警信息。最后,设计并实现了基于Hadoop的深度包检测系统。在预处理模块对数据包进行预处理,MapReduce模块中设计Map实现检测匹配处理功能,Reduce对检测出的异常信息进行规约处理功能。实验结果表明基于Hadoop的深度包检测系统可以对网络数据包的高速检测,协议识别率较高,具有良好的扩展性。
其他文献
无线传感器网络(Wireless Sensor Networks,WSNs)主要由大量微型传感器节点构成,具备感知、采集并传输信息的功能。由于节点自身携带电池能量有限,因此,实现节点能耗均衡、延长网络
麦长管蚜是我国大多数麦区的主要害虫,对小麦的危害严重。准确预测麦长管蚜的发生量,是进行正确防治决策和减少农药用量的前提。目前麦蚜的预测多为发生级别而非发生量的预测
随着云计算的迅速发展,越来越多的数据被存放在云服务器中。云存储作为一种新型的存储服务,所具有的高可扩展性、高可靠性、价格低廉和可随时随地接入访问的特点,为海量数据
随着网络的迅速发展,计算能力与存储能力的不断提高,数据集的规模也有了飞速的增长。为了从大量数据中获取有价值的信息,需要对采集到的数据进行数据挖掘。而特征选择又是数据挖
随着人机交互的发展,形象、生动、直观的手势动作被当作人机自然的交流手段,使用户摆脱了键盘、鼠标等传统输入方式的束缚,在人机交互领域中具有不可估量的意义。从手势的输
时至今日,大数据(BigData)时代已经来临,尤其在电信、金融、互联网行业,数据量的增长已达TB甚至PB级。如何对大数据进行统计分析是我们面临的巨大挑战。云计算的出现和发展,
数字图像处理技术从二十世纪五十年代开始发展到现在,已经在人类生产生活的各个领域取得了广泛的应用。图像分割作为数字图像处理的关键技术之一,不断吸引着众多学者投入到相
随着煤炭开采量增加和开采层位愈来愈深,煤矿井下突水事件发生概率增大,地下水害已成为威胁煤矿安全生产的主要因素。井下明渠流量监测作为煤矿的常规任务为地下水害预警分析提供了重要的基础资料和历史参考依据。但传统的堰式和槽式流量计在井下明渠底部淤泥沉积的情况下测得的流量值与实际值存在严重偏差。为了精确实时测量井下明渠流量,研发精度更高、实时性更强、适合井下环境的明渠流量测量仪具有重要意义。文章研究了各类传
时间序列问题作为数据挖掘中的一类重要问题,其重要性表现在现实世界中大量数据的采集与时间相关,数据具有时间上的关联性。时间序列是指按时间顺序排列的一组有序序列。时间序
在许多机器学习的实际任务中,获得足够的有标记样本是非常昂贵和费时的,而大量的未标记样本容易获得。在少量有标记样本上使用监督式学习方法,训练出的学习器泛化能力不强,容