不确定数据的聚类分析与异常点检测算法

来源 :东北大学 | 被引量 : 9次 | 上传用户:pipiyouxi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
不确定数据作为一种新型的数据模型,被广泛应用于金融、基于位置的服务、移动物体监测、传感器网络等许多类型应用领域。近年来出现的面向不确定数据的分析处理技术已成为数据库、数据挖掘等领域的研究热点。不确定性的存在给研究人员带来了新的挑战:一方面,传统的数据挖掘技术中的基本概念都是面向确定数据的,需要扩展后应用于不确定数据;另一方面,不确定数据对应的可能世界模型中的实例数量是指数级增长的,会增加挖掘算法的复杂度并增加运行时间、内存占用率等资源消耗。基于此,在了解和掌握数据挖掘基本概念和相关算法、不确定数据的产生背景及数据模型特点的基础上,本文主要研究了不确定数据的聚类和异常点检测问题,旨在为不确定数据提供更为多样的聚类分析和异常点检测功能。同时,对本文所提出的算法进行大量的相关实验分析,实验结果证明了提出算法的有效性和高效性。本文的主要贡献体现在以下几个方面:(1)本文提出了一种障碍空间中不确定数据聚类算法OBS-UK-means (Obstacle Uncertain K-means),为了保证聚类准确性的前提下提高算法效率,分别提出了基于R树和Voronoi图的两种剪枝策略和最近距离区域的概念。通过实验验证了OBS-UK-means算法的高效性和准确性,同时证明了剪枝策略在不损害聚类有效性的情况下,能够有效的提高聚类效率。(2)本文提出了基于密度的局部不确定数据异常点检测算法。首先提出了一个新的基于密度的局部异常点的定义,其次,为提高算法效率,提出基于动态规划的方法进行异常点检测。最后,设计相应的剪枝策略以降低存储代价并提高算法的效率。(3)本文提出了基于不确定数据流参数可变的异常点检测算法。首先根据不确定数据流上异常点的性质,提出了可以有效检测不确定数据流中异常点的算法CUOD (Continuous Uncertain Outlier Detection)。其次为了提高算法效率,提出了通过估计异常点的概率而进行剪枝的算法PCUOD (Probability pruning for Continuous Uncertain Outlier Detection)。然后,为了满足用户在不同时刻对异常点查询参数有不同的需求,提出了不确定数据流中参数可变的异常点查询算法。(4)本文提出了面向不确定数据流基于距离的异常点检测算法。首先针对特定的不确定数据模型提出了异常点的定义,同时设计动态存储结构,以满足算法在检测效率和存储空间两方面的要求。其次,为了降低近邻查询的代价以进一步提高算法的效率,提出了基于SM-tree (Statistics M-tree)的近邻查询算法。最后,为解决异常点定义中涉及的参数过多,造成用户难以得到理想查询结果的问题,提出了不确定数据流top-n异常点查询算法。综上所述,针对分析不确定数据所面临的挑战,本文提出了几种面向不确定数据的聚类和异常点检测算法,是对现有不确定数据挖掘技术的有益补充。理论分析和实验结果均证明,本文所提出的算法在准确性、执行效率及存储代价等方面,均优于现有算法。
其他文献
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
果树剪枝是提高果实品质、增强果树抗病能力、降低大小年频率等的重要技术。目前果树剪枝仍以手工剪枝为主,随着农村老龄化的加剧和劳动力的转移,这种低效率手工剪枝方式已不
斑岩系统是一个涉及岩浆和热液作用的复杂系统,建立精细的斑岩系统成因模型对于寻找更为丰富的金属矿产尤为重要,成矿作用时限是建立成因模型和指导矿产勘查的关键。温泉钼矿
文章通过热风炉拱顶的砌筑施工 ,介绍了大跨度组合拱胎模具在拱顶预砌筑及在正式工程砌筑中的重要作用 ,从而解决了热风炉拱顶不能挂钩砌筑的重大技术难题。使拱顶砌筑便于控
本文介绍了基于H.323视频会议的标准、优点,以及视频会议系统组成和基本工作原理。
财务会计所提供的会计信息需要满足一些基本的原则,如可靠性、相关性、实质重于形式等等。财务会计与税务会计、管理会计等相互联系又相互区别,具有自身独立的特征。随着经济
驰名商标制度运行中之所以出现种种不良现象,缘于人们把本应由中国名牌来实现的功能和达到的目标负载于驰名商标上。变"争创驰名商标"为"争创中国名牌"就能从根本上有效避免在这
领队业务是涉外旅游专业最核心的课程之一,其要求就是培养合格的领队来适应日益增多的出境旅游团队需求。面对越来越多的境外旅游投诉问题,领队的能力培养也显得越发重要。本文
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
智能服务机器人在示教、娱乐、导游、助老助残等领域有着广阔的应用前景,是一个热门而又意义深远的研究领域。一般而言,自然和谐的人机交互能力是智能服务机器人必备的,因为