基于云计算的大规模网页日志挖掘研究

来源 :电脑知识与技术:学术交流 | 被引量 : 0次 | 上传用户:missile60
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网上的数据规模大、种类多、变化快,而且越来越复杂。通过数据挖掘和分析,可以获取有潜在价值的信息。但是,传统的数据挖掘系统在数据存储和计算性能上存在瓶颈。通过使用云计算技术,设计了一个基于Hadoop架构的网页日志数据挖掘和分析平台来解决这个问题。同时,为了提高挖掘效率,为大规模网页日志挖掘实现了Apriori算法的并行化,并使用该平台验证了该行算法的效率。
其他文献
以储粮害虫为研究对象,阐述了小波去噪的基本原理和高频系数置零、硬阈值法、软阈值等几种方法,并提出了一种改进的小波阈值去噪方法,比较了这几种方法在粮虫图像去噪上的优缺点。实验结果表明,改进的新阈值方法能更好的去除噪声,收到更好的效果。
叙述了煤矿采煤方法与技术选择的影响因素和选择原则,具体介绍了煤矿采煤方法,最后对煤矿采煤技术进行探讨,以期为相关技术与研究人员提供参考。
本文针对农业劳动力流动对中国经济增长的贡献,在二元经济结构和增长源核算框架下给出新的度量和结果。研究发现:(1)采用劳动再配置效应经典公式评估这种贡献时,通常会产生漏
随着中国经济的飞速发展,煤矿产业成为了促进中国经济发展的重要支柱。煤矿在进行采煤时应遵循安全性、经济性、高产性的原则,更新改革煤矿采煤方法和技术是提高采煤效率的有
“双师型”教师是在教学工作中能够把专业理论与生产实践有机结合的教师,其成长具有阶段性、长期性、多端性、循环性的特点。探讨“双师型”教师成长过程,对加强“双师型”教师
目前,我国道路交通运输业投入很大,道路数量和规模也日益增大,道路施工质量问题也频频发生。造成道路施工质量问题因素诸多,以施工技术问题最为突出。本文就道路施工技术中常
Mobile Agent技术是随着网络应用的日益深入而发展起来的一项新兴技术。Mobile Agent技术的智能性和移动性,不仅降低了网络负载,而且提高了通信效率;此外,其支持异步自主交互