论文部分内容阅读
近年来,随着通信技术和信息技术的飞速发展,人们逐渐意识到一些数据集中型的应用。在这些应用中,数据不再是传统上基于关系模型的静态数据,而是以转瞬即逝的数据流形式出现。上述这些应用包括:财务系统、网络监控、安全领域、通信数据管理、制造业、传感器网络等。海量数据流快速、实时、连续、有序达到。挖掘数据流中的潜在知识对传统数据挖掘算法提出了新的挑战。数据流聚类分析作为数据流挖掘中的一种重要的方法,近年来得到了越来越多的研究和关注。本文以高速带噪声的数据流为研究目标,设计并实现了一种准确、高效、适应任意时刻数据流聚类算法。为此论文主要做了以下方面的工作:首先介绍了课题的研究背景和意义,国内外研究现状。其次研究了数据流挖掘尤其是聚类分析方面相关的理论和技术,总结了主要的数据流聚类算法的优缺点。再次在前面工作的基础上,通过修改概要数据结构,设计了一种改进于近似搜索树(SimilaritySearch Tree)的任意时刻数据流聚类算法(Similarity Search with Micro-clusters Tree,SMCC-Tree)。该算法采用了两阶段算法框架,在线部分的微聚类采用带微簇的近似搜索树(SSMC-Tree)的数据结构,并引入了缓存、捎带处理策略。离线部分的宏聚类,在在线部分所得微簇的基础上,采用基于密度聚类方法,得到任意形状的微簇。由于在实际应用中产生的数据流具有很高的速度,为此在上述算法的基础上提出了一个局部聚类算法(LocalAggregate),在数据流对象插入树前进行预聚类。另外,为了解决数据流中的噪声问题,采用了一种离群点剪枝策略,在该策略中引入了潜在核心微簇队列和离群点微簇队列,周期性的移除离群点,从而保证聚类质量。最后,在名为MOA(Massive Online Analysis)的开源数据流聚类框架上设计和实现了上述算法,并在仿真的和真实数据集上进行了相关实验,结果表明,SSMC-Tree及其改进算法具有较好的准确性和高效性,能够适应高速的带噪声的数据流聚类,并在任意时刻得到聚类结果。