基于邻域关系的离群数据挖掘算法研究

来源 :南昌大学 | 被引量 : 0次 | 上传用户:fengliming33645
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机网络技术的不断发展,网络安全问题日益突出。单一传统的静态网络安全技术如防火墙、数字加密策略等往往无法满足用户需求。网络异常检测,作为一种重要的动态网络安全防御技术,越来越受到研究者与网络用户的关注,目前已成为网络入侵检测领域重要研究方向之一。当前已有的网络异常检测方法普遍存在着误测率较高、检测精度不够等问题,为解决这些问题,本文以粒计算邻域模型为基础,重点研究基于邻域关系的离群数据挖掘方法及其在网络异常检测中的拓展。主要开展了以下研究工作:1.提出了基于邻域关系的离群检测算法NROD(NeighborhoodRelation-Based Outlier Detection)。该算法定义了邻域划分,形成邻域粒子,并通过相对邻域熵(Relative Neighborhood Entropy)的概念来确定各个对象的异常程度,利用了其度量数据对象之间不确定性的优势,准确、有效地挖掘异常数据对象。2.将NROD算法研究相关的相对邻域熵概念引入直推信度机TCM(Transductive confidence machines)算法框架中,利用相对邻域信息熵作为度量数据对象异常程度的新工具,重新定义了算法中的离群度(Strangeness),提出了一种基于相对邻域熵的网络异常检测算法TCM-RNE (Transductiveconfidence machines for Relative Neighborhood Entropy)。3.针对所提出的NROD算法和TCM-RNE算法,分别在UCI数据集和KDD Cup1999数据集上进行了实验验证和分析。实验表明,NROD算法相比传统离群检测算法,在处理混合数据类型以及连续性数据类型的离群数据挖掘任务时,误测率更低,检测准确率更优,算法有效可行。另一方面,相比李洋等提出的改进TCM-KNN(K-nearest neighbors)算法,当异常数据占比1%~2%时,TCM-RNE算法在特定的攻击类型情况下(如U2R攻击类型)的准确率略优,但对所有实验情形,误测率显著降低,平均下降7%。同时抗噪性能的检测实验显示TCM-RNE算法具有很好的抗噪能力。
其他文献
网络时代的出现和发展使越来越多的人融入到信息社会中来,各种信息、知识的获取以及娱乐节目的收看等媒体信息服务被越来越多的人们所希望,而对应于这些需求,出现了各种各样
随着计算机网络技术的不断发展和普及,数据量正在以一个爆炸式的趋势增长,数据的复杂度也更加多样化,而要从海量的数据中获取有价值的信息也变的非常困难,这给数据挖掘技术带来一
孤立点挖掘又称孤立点分析、异常检测、例外挖掘、小事件检测、挖掘极小类、偏差检测。孤立点可能是“脏数据”,也可能是与实际对应的有意义的事件。从知识发现的角度看,在某
在当前网络蓬勃发展的今天,TCP/IP作为层次性网络体系结构的主流技术体系存在不少弊端,目前有两个方面的解决方案:在TCP/IP体系结构下的改进(如IPv6),开创新型网络体系结构。
随着多媒体技术和视频成像技术的快速发展,出现越来越多的图像显示设备,如手机、电视、平板电脑、笔记本电脑等。图像有固定分辨率,一幅图像在不同的显示器上显示时会发生导
随着信息化步伐的加快,软件危机呈现出愈演愈烈的趋势,如何有效维护现存软件以缓解危机的研究也变得更加紧迫。软件再工程通过利用重新抽象出设计模型、将新的技术和需求应用
频繁项挖掘作为数据挖掘领域研究的重要主题之一,已被证实具有一定的理论价值,并且在市场选择、决策支持和商务管理等方面得到广泛的应用。随着科学理论和技术的发展,金融,传
随着移动通信技术的飞速发展,信息的安全保密变得越来越重要,为了确保商业信息的安全,对通信的保密尤为重要。据统计,目前我国GSM网络[1] [13]已覆盖全国绝大部分地区,用户数
随着网络浪潮一浪高过一浪的今天,越来越多的公司部门也在加大力度进行网络建设,计划不久的将来要实现与海关、银行、工商、政府等部门的网络互联,包罗万象信息共享。开发远程传
社会需求是推动理论和技术发展的原动力。信息科技高速发展的今天,语音与我们的日常生活息息相关,每人每日的各种活动,都会存在各式各样的声音。而可移动便携设备---作为信息