数据挖掘中的聚类方法及其应用

被引量 : 0次 | 上传用户:iovewpycoo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据挖掘是近几年随着数据库和人工智能发展起来的一门新兴技术,它从大量原始数据中发掘出隐含的、有用的信息和知识,帮助决策者寻找数据间潜在的关联,发现被忽略的因素。数据挖掘因其巨大的商业前景,现已成为国际上数据库和信息决策领域最前沿的研究方向之一,并引起了学术界和工业界的广泛关注。面对海量数据,首要的任务就是对其进行归类,聚类分析就是对原始数据进行合理归类的一种方法。作为数据挖掘的一项重要功能,聚类分析能作为一个独立的工具来获得数据的分布情况,观察每个类的特点,集中对特定的某些类做进一步的分析。此外,聚类分析也可以作为其它算法的预处理步骤。因此,聚类分析已经成为数据挖掘领域中一个非常活跃的研究课题。数据挖掘的相关文献中已经存在大量的聚类方法。然而,从目前来看,对数据挖掘中聚类方法的研究大都集中于计算机科学领域,更多注重聚类算法的研究,或者对现有聚类方法进行算法上的改进,而很少真正从统计学角度出发对数据挖掘中的聚类问题进行深入分析。本文尝试从统计学视角出发,以统计理论为基础,以统计方法与算法的结合为基本思路,将一些现有的优秀统计方法,如因子分析、对应分析、函数型数据分析等引入数据挖掘领域,使其能够应用于海量数据的聚类分析。本文共分为六章,各章的内容安排如下:第1章介绍了本文的选题背景、研究内容以及本文的主要创新之处。第2章首先简单阐述了数据挖掘的定义、功能和常用技术,然后对当前数据挖掘中主要的聚类方法及其研究进展进行了综述,并从聚类标准、类的标识、聚类算法框架三个角度对各种聚类方法进行了全面而深入的对比与总结。第3章通过对经典O型因子模型进行改进,克服了其算法效率上的困难,提出了一种新的海量数据聚类方法——Q型因子聚类法,并将其成功应用于上市公司板块分析,为投资决策提供帮助。第4章基于Benzécri对应分析的基本思路,结合Q型因子分析的思想,提出了数据挖掘中的对应分析聚类法。利用对应分析聚类法对移动通讯月度消费大型数据库进行聚类分析,实现了移动通讯消费市场的细分。第5章借助函数型数据分析的基本思想和方法,建立了一个时序数据库聚类分析的一般框架,并将这一方法扩展到多变量的情形,解决了多变量时序数据的聚类问题。将该方法应用到投资组合风险管理中,利用聚类结果进行资产选择,有效地降低了组合投资风险。第6章对全文的主要工作进行了总结,并指出了本文的不足之处以及进一步研究的方向。本文尝试在以下几个方面有所创新:1.通过对经典Q型因子模型进行改进,克服了其算法效率上的困难,提出了一种新的海量数据聚类方法——“Q型因子聚类法”。2.提出了数据挖掘中的“对应分析聚类法”。该方法既解决了Q型因子分析算法效率方面的问题,也解决了传统对应分析法中缺乏客观分类标准、信息损失严重等多种缺陷。3.在对应分析聚类法的提出过程中,构造了对应分析中的标准化因子载荷阵,给出了对应分析中因子得分的求解方法,并首次将因子旋转引入对应分析中,在一定程度上扩展了对应分析的方法和理论体系。4.借助函数型数据分析的基本思想和方法,建立了一个时序数据库聚类分析的一般框架,在这个框架之下,大量传统的静态聚类方法都可以被应用到时序数据聚类当中。
其他文献
区域经济规划是经济、社会、科技和环境的空间统一形式,是区域经济发展战略、国民经济和社会发展计划在地域空间上的落实和体现。因此,探讨我国区域规划的的影响因素,对我国
政府信息公开即是行政机关和其他有关机构有义务将在行使国家行政管理权过程中取得的与行政事务有关的文书资料等信息主动或应请求向社会公众公开的制度。从另一角度来说,政
介绍了ACF的结构、原理、组成、应用及发展前景,详述了导电粒子、粘结剂、添加剂等组分在体系中的作用和对ACF性能的影响,综述了热固性树脂中离子聚合树脂型ACF和自由基聚合树
应用电感耦合等离子体发射光谱法(ICP-OES)测定高钛含量的钛铝合金中铬铁钼硅时,单一酸不能使钛铝合金完全溶解;混合酸溶解样品后仍会出现少量杂质、溶解不完全的现象,且复溶时
目的探讨葡多酚(grape procyanidins,GPC)对乳腺癌细胞的抑制作用和雌激素受体(estrogen receptor,ER)对GPC抑制乳腺癌细胞增殖的调控作用。方法实验一:将GPC和乳腺癌MCF-7细胞共
现代环境雕塑已是现代雕塑艺术中非常重要的一部分,环境雕塑语言不是单纯的自身封闭形象的塑造,其与周围的环境空间和形体的密切关系才是创作的原动力和催化剂,并且使自身获
海军是国家利益实现和拓展的重要力量组成,在大力推进人才战略工程的今天,海军人才队伍建设地位尤显重要,作为担负党的领导工作的政治军官,其能力素质事关部队战斗力的生成和
情感是人们对客观事物是否符合其需要的态度体验。客观事物是否符合人的需要,这既取决于客观事物本身的性质,同时也取决于人对客观事物及其自身的认知。事物本身的性质是客观
商业银行的稳健运营对国家经济的健康发展至关重要,因此世界各国都非常重视对商业银行的监管。随着技术进步和金融创新的日益深入,世界各国商业银行监管的核心已由合规性监管
车辆建模技术是汽车主动避撞系统开发及评价的关键技术之一。该文运用混合建模技术,将理论分析模型和车辆实验数据结合,充分利用各动力总成现有的标准数据,建立了模拟汽车主