论文部分内容阅读
数据挖掘技术是多种学科相结合的产物,它集合了数据库技术、人工智能、机器学习等多学科发展成果,是一种理论性和应用性都很强的技术。作为一门多学科综合应用技术,此项技术把多门技术结合起来加以应用,包括最新的人工智能技术,以及机器学习,还包括传统数据库技术,通过对信息的挖掘和模式的识别,由计算机按照某种方法自动生成,把数据中发现未知的、具有潜在应用价值的信息识别出来,解决数据量大而知识贫乏的矛盾。目前这一技术已在商业、金融、保险、医疗等多个领域产生了巨大的效益。 目前文本聚类技术在算法设计方面取得了大量成果,并形成了自己的一套理论和方法体系,作为非监督学习问题中的典型问题,文本聚类算法用不同的数据分析方法,设计研发出众多聚类算法,常见的由划分方法、层次的方法、基于密度的方法、基于网格的方法以及基于模型的方法等,这些算法都在特征选取、分类计算等技术环节给出了解决方案,在性能和质量上都有不错的表现。 这些算法在文本聚类的主要步骤都差不多,只是在各个步骤的处理实现上方法不同,因此也都有了各自优点和缺点。比如目前比较流行的K-Means算法,其优点和缺点都很明显,为此很多研究者提出多种改进算法。 在详细分析了这些不同类型的文本聚类算法,并总结他们的优点和缺点的基础上,提出了一个新的算法设计思路:综合多种不同类型算法,针对不同的需求,在聚类的不同阶段使用不同算法混合计算。 进而,针对K-Means算法的K参数选取问题,设计了一种混合计算方法,有效的提高了K-Means算法的聚类质量。此算法在特征选取阶段使用了基于密度的聚类算法,使得K-Means算法的初始值选取避开了孤立点,同时在聚类阶段仍然使用划分法,使得整个算法兼顾了时间和质量上的平衡,从而取得了更佳的聚类结果。