数据挖掘技术与关联规则挖掘算法研究

被引量 : 231次 | 上传用户:lcy38
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据挖掘是致力于数据分析和理解、揭示数据内部蕴藏知识的技术,它成为未来信息技术应用的重要目标之一。经过十几年的努力,数据挖掘产生了许多新概念和方法。特别是最近几年,一些基本概念和方法趋于清晰,它的研究正向着更深入的方向发展。像其它新技术的发展历程一样,数据挖掘技术也必须经过概念提出、概念接受、广泛研究和探索、逐步应用和大量应用等阶段。从目前的现状看,大部分学者认为数据挖掘的研究仍然处于广泛研究和探索阶段,迫切需要在基础理论、应用模式、系统构架以及挖掘算法和挖掘语言等方面进行创新。关联规则挖掘是数据挖掘中成果颇丰而且比较活跃的研究分支,留给研究者的是更深入的课题。面对大型数据库,关联规则挖掘需要在挖掘效率、可用性、精确性等方面得到提升。因此,需要探索新的挖掘理论和模型;需要利用用户的约束等聚焦挖掘目标;需要对一些传统的算法进行改进;也需要研究新的更有效的算法等。鉴于目前数据挖掘技术和关联规则挖掘研究的现状和发展趋势,在各类基金的支持下,我们选择了这一课题开展相关工作。本文的研究主要包括数据挖掘应用系统体系结构、关联规则挖掘理论及其算法等。关于数据挖掘应用系统体系结构研究方面,我们设计了一个数据挖掘应用系统的原型体系结构,系统化地分析了知识发现的基本过程和系统的各部件功能。由于不同的源数据类型、不同的应用目标以及不同的挖掘策略对数据挖掘系统的功能部件要求不同,这些研究主要是从知识发现的基本过程出发,探讨系统应具备的主要功能部件及其相互联系等。在关联规则挖掘理论研究上,我们首次给出了项目序列集格空间,并且探讨了在这个空间上的基本操作算子。基于项目序列集格空间及其操作,我们建立了关联规则挖掘模型和算法。在关联规则挖掘算法方面,设计了基于项目序列集操作理论的关联规则挖掘算法ISS-DM、时态约束下的关联规则挖掘算法TISS-DM、数据分割下的关联规则挖掘算法PISS-DM。ISS-DM 算法是建立在严格的项目序列集格理论及其操作基础上,是一个一次数据库扫描的而且不使用侯选集的高效算法。我们选择目前引用率较高的Apriori算法和ISS-DM进行了对比实验。结果表明,ISS-DM执行时间整体上优于Apriori算法,而且随着数据量的增大ISS-DM执行时间的增长幅度也小于Apriori算法。为了提高对大型数据集挖掘的适应性,将时态约束应用到挖掘的预处理中,改进ISS-DM成TISS-DM。这部分工作还包括对时态区间、时态约束下的数据挖掘空间以及时态区间操作等进行了形式化,它们是TISS-DM的理论基础。对ISS-DM的另一个改进算法是PISS-DM。它是针对大数据集挖掘过程中对内存和CPU等系统资源要求较高的情况被提出和设计的,采用了数据分割的方法来减少资源的占用。本文解决了数据分割下局部频繁项目序列集和全局频繁项目序列集的转换等问题,是一个两次扫描数据库的算法。总之,本文在分析、归类现有数据挖掘研究成果以及原型系统的基础上,进行了数据挖掘应用系统体系结构、关联规则挖掘理论模型以及算法方面的研究。在项目序列集格及其操作、时态约束挖掘空间等方面具有较好的<WP=4>理论价值,所设计的算法在挖掘效率和对大型数据库挖掘的可用性方面具有潜在的应用前景。
其他文献
一方面,近年来我国货币市场改革的滞后问题引起了愈来愈多人的注意。其中,尤其是货币市场三大基础性子市场之一的票据市场,其相对萎缩状况更是令人担忧,因为它的发展无论对于我国
混合式教学把传统教学模式的优势和网络教学的优势相结合,体现了"双主"的教学原则。本文阐述了混合式教学模式的含义,探讨了其对大学英语教学的启示和其优势,希望能为当前大
肺栓塞为临床常见病,但因缺乏特异性临床表现和检查,容易漏诊和误诊,而早期诊断治疗可明显改善患者预后。报道l例合并快速房颤的肺栓塞,通过对此例肺栓塞病例诊治过程的描述
全世界临床实验室对每份患者标本中需要检测的每个分析物都只做一次检测就发出检测报告。这是临床实验室相对于其他分析领域实验室最大的特点,但也是最大的缺陷!如果临床医生
1935年4月20日,蒋介石打电报给中国驻柏林使馆,要他们转询王光祈,如愿回国,当图借重.电报全文如下:&#39;闻王君光祈,积学苦引,不胜□□(此两字电码不明),如愿回国,当图借重,
中国加入WTO和国家西部大开发战略的实施,为内蒙古畜牧业带来了大发展的机遇。奶业是内蒙古畜牧业中最具有发展潜力的优势产业,大力发展奶业有利于调整农业产业结构、增加农民
本文以马克思主义经典作家倡导的历史与美学的观点为指导,运用历史与逻辑相结合的方法,并适当地吸收了一些当代批评理论,将中国古代魂梦戏作为一个整体来研究,主要从创作主体的角
美学作为一门具有相对独立体系的学科,是以审美经验为中心研究美和艺术的学科。它是通过多元化的内容,从各个不同的角度、层次、途径、方法出发并在行进中加以体现。服饰美学正
目的探讨尿中性粒细胞明胶酶相关脂质运载蛋白(NGAL)与慢性肾脏病(CKD)肾小管间质损伤的相关性。方法测定124例行肾穿刺的CKD患者及30名健康体检者(正常对照组)血清半胱氨酸