基于Spark的PFP-Growth并行算法优化实现

来源 :现代电子技术 | 被引量 : 0次 | 上传用户:shichun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据量的增大,FP-Growth算法压缩数据思想的优势就体现出来,基于MapReduce框架的PFP-Growth算法实现该算法在Hadoop平台上的并行化,但是MapReduce框架每次对作业进行操作都要将中间结果输出存储到磁盘,影响算法的效率。为了提高关联挖掘的效率,基于Spark平台,运用均衡分组的思想对该算法进行改进,同时在对具有很长前缀情况进行共享前缀的拆分,通过4个步骤使IPFP-Growth算法在Spark上实现。实验结果表明在Spark平台上优化过后的算法在性能上要优于PFP-Grow
其他文献
克什克腾旗清代窖藏钱币王岩1991年春,赤峰市克什克腾旗万合永乡,二地村社员在挖房基时发现一处古代钱币窖藏。我馆及时收回,并予以整理。这批钱币出土于一废弃的房址内,距地表50厘米,装
本文构建了一种农业技术创新三元结构分析模式,综合运用经济学、技术社会学以及现代化理论与方法,分析中国近代农业发展与中国近代社会政治经济文化变迁之间的关系,为当代中国的
本文采用理论与实践、定性与定量相结合的分析方法,以吉林省农村劳动力流动问题为主线进行系统分析与深入考察。在对我国农村劳动力流动基本情况进行了深入分析的基础上,通过
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
习近平总书记在党的十九大报告中讲到了七个方面的战略,实施乡村振兴战略就是其中之一,十九大报告中还提到了要全面建成小康社会,实现第二个百年奋斗目标的战略要求,而实施乡
芙蓉洞是一个大型石灰岩洞穴,形成于第四纪中更新世。在成为化石洞穴的发展阶段中,发生过大规模的崩塌。其后16~20万年以来,约在四个主要时期形成了极其丰富的次生化学沉积物,其矿物组
2020年8月13日,在首农食品集团和中信集团的支持下,北京奶牛中心和华智生物技术有限公司合作自主开发奶牛育种芯片签约仪式在京举行。根据合作协议,双方将运用最新的液相捕获
通过液液萃取、薄层层析分离出香蒲叶浸提液中化感活性最高的组分,利用气质联用(GC-MS)技术对其化感物质进行分离与结构鉴定来探究香蒲(Typha orientalis)不同组织部位浸提液