频繁项集快速挖掘算法研究及其分布式实现

来源 :昆明理工大学 | 被引量 : 0次 | 上传用户:freshgrandpa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息共享时代的来临,全球每天都在产生数以亿计的数据。有使用价值的数据随着数据总体基数的增多而变得越来越多,但总体来看这部分数据还是只占少数。面对如此情况,人们急需将其快速发掘出来。分类、聚类和频繁项集挖掘等数据挖掘技术被广泛用于从大型数据集中提取出有用或相关的信息。频繁项集挖掘作为最经常使用的方法之一,可以从大量数据中挖掘出有趣并且具有内在联系的模式,从而帮助人们更好的决策。近年来,其被广泛应用于犯罪预测、网络安全、股票预测和生物基因信息分析等领域。由于频繁项集的挖掘存在大量迭代计算过程,通常会耗费让人难以忍受的时间,所以设计一种快速高效的频繁项集挖掘算法具有重要的理论和实际意义。传统的基于候选测试的挖掘算法主要面临候选项集生成数量过多以及频繁扫描数据库的问题,而非候选测试的挖掘算法主要是采用FP-Tree来压缩数据库,然后通过构造项的条件模式树递归挖掘,当项的数量较大时,递归挖掘容易造成内存溢出。随着数据量的不断增长,传统单机版算法产生频繁项集的效率愈来愈低。频繁项集挖掘由于其迭代计算的特点,加之众多分布式计算框架的出现,为提高挖掘效率带来了新思路,频繁项集的分布式挖掘是当下研究热点。通过对频繁项集挖掘及分布式计算领域内大量相关文献的阅读,本文设计了一种新颖的位串模式增长策略,采用位串表达项集,利用位操作来快速生成候选项集,提出了基于位串的Mafibs算法。其次,针对超长位串计算效率低的问题,又设计了位串分组策略和位串连接策略,基于这两种策略,在Mafibs算法的基础上提出了改进的Fmafibs算法,该算法对超长位串进行分组,首先生成每个组内包含的频繁位串,而后将同一事务不同组产生的频繁位串通过连接策略获得组间候选位串,通过将一次性生成的候选位串和利用位串连接策略生成的候选位串进行聚合和过滤得到最终频繁位串,最后将频繁位串进行解析,得到全部的频繁项集。Spark由于其特殊的缓存机制,易于处理大数据,所以本文将所提出的算法在Spark计算平台上进行了实现,并且使用频繁项集挖掘领域内的公共数据集进行了实验验证,结果表明本文所提算法在保证挖掘结果准确的同时,有效地提高了挖掘效率。
其他文献
在经济利益的驱动下,恶意代码相关的安全事件日益频繁。根据AV-Test的恶意代码统计数据,平均每天新发现25万多个新的恶意代码样本,与此同时恶意代码在快速进化。面对日益复杂的环境,人工分析已经难以及时应对如此海量的恶意代码。因此,人工智能技术被广泛的应用到恶意代码分析与检测系统中,人们开始广泛利用人工智能对大量的恶意代码样本训练检测模型。然而随着人工智能模型的广泛应用,人工智能本身的可信性受到了挑
随着教育改革的推进,发展学生的“核心素养”已成为教育改革发展的趋势。高中艺术生大多数学基础差,对学习数学兴趣不高。在此情况下,期待能够探索新的教学模式,以激发高中艺
随着移动互联网的飞速发展,互联网平台经济也开始在国民经济中发挥着越来越重要的作用。有别于传统的农业和工业企业,互联网企业尤其是互联网平台企业呈现出一系列新的经济特征亟待探明,本文选取互联网平台竞争行为这个视角作为切入点来对互联网平台经济加以研究。本文分析思路首先是将传统的双边市场理论方法与新经济下互联网平台的经济特征相结合,从而定义切合实际的互联网平台的成本收益函数。其次,利用博弈论的方法将成本收
安置性住房建设在我国城市化进程中扮演着重要角色,据相关统计数据显示,安置保障工程财政支出的73%是采用PPP模式进行投资的,然而,我国实践中安置性住房PPP项目的交付经常出现质量和时间问题,有鉴于此,本研究针对安置性住房PPP项目的交付保障机制进行研究。该问题本质上是PPP项目中政府部门对社会资本的控制,本文将依据杜亚灵等提出的PPP项目中的控制构念及维度划分构建安置性住房PPP项目的保障机制。由
服务型领导强调满足下属需求,将下属利益置于首位,这与我国“以人为本”、“己欲立而立人,己欲达而达人”等传统观念相契合,因而在我国管理领域广受欢迎。作为最适用于酒店行业的领导风格之一,服务型领导理念已在酒店管理实践中被广泛应用,并且效果显著。因此在学术研究领域,服务型领导的影响作用问题也备受关注。相关研究已经广泛探讨了服务型领导的积极作用,但对其消极作用的关注较为不足。近年来组织行为学领域相关研究表
水泥基材料是一种脆性材料,在使用中容易开裂。阳离子乳化沥青是一种有机材料,具有一定的柔性。采用阳离子乳化沥青对水泥砂浆进行改性形成的水泥-乳化沥青砂浆(简称CA砂浆)将兼具水泥基材料力学性能高和沥青柔韧性好的优点。近年来,CA砂浆被广泛用于高速铁路和道路交通领域。力学性能是CA砂浆的主要性能之一,然而,在其长期服役过程中,CA砂浆会受到空气中的水、盐溶液的侵蚀,这些是造成CA砂浆劣化和失效的主要原
石笋因高分辨率及精确定年的优势在古气候研究中占据重要地位,通过重建过去气候演变趋势,从而分析地球气候发展的规律和探寻未来环境的演化方向。在古气候研究领域,间冰期气
数字技术的进步带来了音乐传播方式的变化,直播、社交互动等泛娱乐方式带动了数字音乐产业的蓬勃发展,各大音乐平台由“版权之争”进入到了“内容之争”的新阶段。在这个过程
现如今,医疗器械成为医院正常运行的重要组成部分,各类医疗器械成为医生的得力助手。然而,医疗器械的故障是经常发生的事情,给医院带来了巨大的损失,给病人带来了不便。面对
随着经济的发展,许多人因经营失败、过度消费等种种原因陷入债务僵局,依靠现有的民事执行制度已经无法解决问题。所以我国急需建立自然人破产制度以缓解社会矛盾冲突,维护社会经济稳定发展。财产是自然人破产的基本要素。自然人破产财产是实现破产分配的核心。因此本文对自然人破产财产的范围进行研究,希望能对我国自然人破产制度的构建有所帮助。本文主要讨论自然人破产财产的范围,逻辑上按照破产程序的进行顺序,先讨论破产开