【摘 要】
:
随着互联网的不断进步与发展,各个领域的数据规模越发庞大,均出现指数级上涨的现象。在这种大数据的背景之下,传统的数据分析方法渐渐无法满足人们的需求,因此数据挖掘技术应运而生,它通过挖掘数据间隐藏的信息和规律为人们提供决策支持和预测帮助。关联规则是数据挖掘技术中应用相对广泛及成熟的方法之一,它在各个领域的科学研究以及实际应用中具有指导性的意义。关联规则方法中的常见算法包括Apriori算法、FP-Gr
论文部分内容阅读
随着互联网的不断进步与发展,各个领域的数据规模越发庞大,均出现指数级上涨的现象。在这种大数据的背景之下,传统的数据分析方法渐渐无法满足人们的需求,因此数据挖掘技术应运而生,它通过挖掘数据间隐藏的信息和规律为人们提供决策支持和预测帮助。关联规则是数据挖掘技术中应用相对广泛及成熟的方法之一,它在各个领域的科学研究以及实际应用中具有指导性的意义。关联规则方法中的常见算法包括Apriori算法、FP-Growth算法和一些改进算法等。但是这些算法的研究和应用大多是基于单机平台的,由于受到单机的内存容量和处理数据能力的限制,串行执行模式对大规模数据的处理能力有限。针对上述缺陷,国内外研究者开始将传统的关联规则算法移植到分布式平台上进行研究,因此基于Hadoop平台的并行挖掘方法优化成为了新的研究方向。本文根据上述研究背景,主要的工作内容如下表述。首先,介绍关联规则中经典的Apriori算法,并将经典算法在MapReduce框架下完成并行化实现,即提出MR_Apriori算法。进而将MR_Apriori算法与HBase分布式数据库结合,通过优化算法的剪枝方式提出了改进算法,即HMR_Apriori算法,并通过具体实例描述该算法的执行过程。其次,搭建Hadoop分布式集群环境,通过改变数据集大小和集群结点数量的两种方式进行算法执行时间的对比实验,实验结果证明并行的算法具备处理海量数据集的能力,而改进过的HMR_Apriori算法具有更高的执行效率。然后选用大规模真实的学生课程成绩作为数据集进行实验,利用HMR_Apriori算法进行数据挖掘并从挖掘结果中分析出课程之间的关联性。最后,将HMR_Apriori算法应用于教育平台,结合功能需求和性能需求对课程管理系统进行整体架构设计,设计开发出基于Hadoop分布式平台的课程管理系统。该系统除实现课程成绩管理等基本功能外,还能够结合数据挖掘结果为学生提供成绩预警信息,从而有利于学生及时调整和规划学习安排,在高校的教学管理中具有重要的现实意义和应用价值。
其他文献
从全球产业链发展形势看,全球产业结构的再调整,为我国制造业的“高端跃升”提供新契机;从国内经济发展阶段看,我国正从要素驱动转向创新驱动的新阶段,供给侧改革是必经之路,
橘小实蝇是一种危险性的果蔬害虫,给农业生产带来了巨大的经济损失。CRISPR/Cas9基因编辑技术的迅猛发展为农业害虫的科学防治带来了新的发展契机。本研究以橘小实蝇生殖发育相关的三个目标基因(boule、rhomboid、sex peptide receptor)为对象,利用CRISPR/Cas9基因编辑技术研究其功能,探讨CRISPR/Cas9在橘小实蝇研究中的可行性,比较这些基因编辑敲除后对橘
<正>合肥市房地产市场发展态势看好,从商品房销售看,1999年市区办理合同登记备案65.97万平方米,销售金额9.8亿元。2000年已达到141.7万平方米、21亿元。从存量房交易看,1999
粉煤灰作为无机填料在高分子材料中的应用,可以解决燃煤电厂的固体废弃物对环境造成的污染问题,同时通过合理利用可以降低高分子材料的成本,并改善其力学性能。本文以粉煤灰为无机填料制备了一种聚氨酯弹性体材料。首先设计合成两种不同类型的粉煤灰表面改性剂:硬脂酸/油酸三乙醇胺酯小分子改性剂和接枝聚合物大分子改性剂(LMPB-g-KH570),在合成LMPB-g-KH570时,分别改变了反应时间和低相对分子量聚
地球表面既是大气系统唯一具有物理意义的界面,也是大气能量的主要输入面。陆地表面发生的各种过程直接关系到人类的生存发展,同时人类的生存和发展也影响陆地表面的性质。地表
对白云石、石灰石作用下生物质热解焦油催化裂化过程中的积炭失活问题进行了研究,考察了较长反应时间内催化剂积炭量和焦油转化率的变化情况。最长运行时间32h,所得积炭质量
彻清喷鼻剂是由川芎、细辛、薄荷、藁本、当归、蔓荆子、甘草和炙甘草8味中药制备而成的制剂,主要治疗外感头痛。本课题选择古方彻清膏,在中医药理论的指导下,通过制剂特点和处方性质,应用现代制剂技术将其由起效缓慢、携带不便、服药量大的传统复方散剂研制为携带方便、起效迅速、疗效突出的现代鼻腔喷雾剂,为该处方的现代制剂开发奠定基础。本课题主要包括以下四部分的研究:1.提取及纯化工艺研究根据处方中药材的指标性成
目的:研究胆囊结石合并胆总管结石患者手术前后血清IL-6、IL-10、TNF-α、COR的水平变化,及应用加速康复外科策略对其水平影响,探讨加速康复外科策略在胆囊结石合并胆总管结石患者围手术期的可行性及临床使用价值。方法:选择2017年12月至2018年12月在包头市中心医院普外二科住院的30例行腹腔镜胆囊切除+胆总管切开+胆道镜探查取石+胆总管I期缝合或T管引流术患者纳入研究,按照入组标准和排除
近年来,商标使用有受到商标法理论和司法实践过分重视之嫌。相关实证研究表明,尽管商标使用在商标侵权构成中的确具有一定的地位,发挥着一定的作用,但商标使用绝非商标侵权构
【研究目的】丝石竹皂苷元(Gypsogenin),齐墩果烷型五环三萜化合物,主要以糖苷形式存在于石竹科(Caryophyllaceae)石头花属(Gypsophila)植物丝石竹(Gypsophila oldhamiana Mi