基于Hadoop改进聚类算法在Web日志聚类中的应用

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:killlikk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络技术的发展,互联网用户量日益增加,Web日志量也随之变大。如何高效准确的从这些Web日志中挖掘出隐藏的商业信息,为用户提供更高质量的服务,成为了一个重要的研究方向。基于此,本文研究内容有以下几方面:1)基于模拟退火机制和轮盘赌策略的PSO-KMeans算法。针对PSO算法容易收敛于局部最优的问题,引入模拟退火机制和轮盘赌策略,优化传统的PSO算法,用优化后的PSO算法对K-Means算法的初始聚类中心选取进行选取,提高算法的稳定性和准确率。2)BAS-FCM算法。传统的FCM算法容易受初始聚类中心的影响,收敛于局部最优。针对这个问题,将天牛须算法(BAS)引入到FCM算法中。首先,采用一种基于logistic模型的方式对BAS算法的步长进行优化。最后,利用BAS全局寻优的能力对FCM算法中聚类中心的更新进行控制,从而达到优化的目的。3)基于Hadoop的Web日志聚类系统研究。包括基于Hadoop的Web日志预处理模块和Web日志聚类模块。Web日志聚类是将改进后的算法运用到Web日志聚类中,分为两部分,一是将改进后的PSO-KMeans算法与Hadoop相结合;二是将BASFCM算法与Hadoop相结合。本文对Web日志预处理、PSO-KMeans算法和FCM算法做出优化,通过实验对比,优化后的Web日志聚类算法在效率和稳定性方面都有很大的提升。优化后的PSOKMeans算法在效率上高于BAS-FCM算法,但BAS-FCM算法准确率优于改进的PSO-KMeans算法的,因此,用户可以根据需求选择使用哪种算法。
其他文献
目的:强直性脊柱炎(ankylosing spondylitis,AS)是以骶髂关节及脊柱中轴关节为主要病变的慢性进行性炎症性疾病,葡萄膜炎是AS最常见的关节外表现之一,眼部疾病治疗不当或不及
一、容合:宇宙的胸怀"容合"是笔者创造的一个词,与"融合"有区别,是"兼容、包容、宽容、容纳、集合、综合、化合、合作"的概称。龙凤的形象是"容合"的。龙是中国人对蛇、鳄、鱼、鲵、猪
利用涡动相关技术对青藏高原东缘阿柔的碳通量进行了连续观测,定量分析了高寒草甸碳通量的变化特征及其影响因素。结果表明:1)阿柔草甸碳通量的日变化基本呈现单峰曲线,吸收
杜威告诉我们:"在儿童的兴趣和需求中,早已暗含着教育所追求的东西。"教师要站在教育的角度去把握孩子的兴趣、需求中所蕴含的教育所追求的价值及可开发的教育生长点,为幼儿创造
小麦种植在天津市大港区农业生产中占有重要地位,播种面积约占耕地面积的1/5。小麦条锈病俗称“红锈病”、“铁锈病”,是大港区小麦生产上分布广、传播快、危害面积大的重要病害
三峡工程举世瞩目。三峡工程成败的关键在移民。最近,我们对全县移民工作进行了全面检查。检查结果表明,前几年我县移民工作取得了较为明显的成效,但也存在着一些亟待解决的
【正】 跨国企业是当代世界经济活动的主体。它们在世界生产、国际贸易和国际技术转让中,占据着主导地位。20多年前,世界银行的一位经济学家曾得出这样的结论:“企业的成功必
梅花奖获得者、上海昆剧团著名演员梁谷音,去年在上海、北京等地,曾赋予舞台上的潘金莲活的艺术生命;最近,她又在银屏上塑造一个独具特色的潘金莲。去年年底,她来北京演出《
<正> 为利用纹身进行个人识别,本文对纹身进行了一些介绍,包括纹身的国内外概况,纹身工具,纹身的过程,纹身的色料,纹身的去除等。纹身是自古以来就存在的一种社会现象,受宗教
会议
自1999年正式将公共财政确定为我国财政体制改革的目标模式以来,财政支出作为国家资金的分配活动,在国家经济建设和社会管理方面发挥了十分重要作用,但财政支出结构存在许多不合