应用Web数据挖掘的主题元搜索引擎设计与实现

被引量 : 0次 | 上传用户:liuliyuanll
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本论文介绍了应用Web数据挖掘,基于开源搜索引擎Nutch 0.9及相关软件包,结合主题搜索引擎和元搜索引擎的特点,设计和实现一个主题元搜索引擎TSMSE,借以改善通用全文搜索引擎的查全率和查准率。论文首先开发了主题提取器TopicDistiller,应用Web内容挖掘和Web链接分析,从通用搜索引擎检索结果网页集中提取主题词集和种子站点用于主题表示,为后续主题元搜索引擎的主题判断和主题度计算提供了依据。论文接着提出了具有独立数据库的主题元搜索引擎TSMSE的设计思想,将元搜索引擎综合各个独立搜索引擎检索结果,提高查全率的特点和主题搜索引擎按主题搜索、索引文档,提高查准率的特点结合起来。论文然后应用Nutch爬虫的不同工作方式,将从指定种子站点爬行到的网页集和从各独立搜索引擎爬行到的网页集融合在一起。再开发主题解析和主题索引插件,对爬行到的网页进行主题词提取,确定页面主题,计算主题度,并依照主题和主题度,为用户提供检索服务,从而提高了查准率。由于融合了各个搜索引擎的查询结果,同时也提高了查全率。论文接下来对Nutch 0.9的检索功能和界面进行了增强,实现了具有独立数据库的主题元搜索引擎TSMSE,为用户提供分主题、按主题度排序的检索结果输出。并可根据检索历史记录对用户输入的检索关键字进行智能扩展提示,同时为搜索引擎返回结果的增加了自动聚类和分页浏览功能。论文最后分别采用六个不同的搜索主题,对TSMSE主题元搜索引擎进行了简单的性能测试。结果表明,检索结果的查全率和查准率都有一定提高。
其他文献
纤维增强气凝胶复合材料具有低密度、低导热系数、良好力学性能等优点,在新型航天飞行器、导弹、能源、化工等领域具有广阔应用前景,是国内外新型高效隔热材料研究的主要方向
目的对比分析不同梅毒检测方法的应用以及效果评价。方法随机抽取110例梅毒患者作为研究对象,将其作为评价组;将同时期收治的110例非梅毒患者设为对照组;采取化学发光法、梅
<正>毋庸置疑,我们身处的世界正处于旧的秩序坍塌、新的秩序待建的非常时期。一直自诩进入"后现代"的欧洲近年来祸不单行,经济低迷与社会问题本已使其不堪其负,不料又遭遇恐
针对WSN中节点的定位误差的问题,提出了一种阶次序列加权的无线传感器定位算法。首先根据节点定位中的信号传输采用Shadowing模型,其次根据锚节点建立Voronoi图,将Voronoi多边形
在低渗透和特低渗透油田,有时水平井单井产量也很低,不能满足经济开发的要求,这时通常需要对水平井实施水力压裂增产技术。但目前对水平井压裂裂缝形成机理认识不够全面。文
目前,微地震技术已被广泛应用于监测油田的生产动态,在油田开发中发挥了越来越重要的作用。微地震压裂监测技术与其它地震勘探技术相比具有自己的独特性,这也导致微地震资料
随着互联网和信息技术的飞速发展,数字资源的类型多样化,数字资源的分布异构化,每个数字资源承载的数据海量化,如何充分的整合利用这些数字资源,并利用这些资源从信息之海中
城市是现代社会政治、经济、科学技术和文化教育的中心,是人类文明进步的重要标志。自改革开放以来,我国城市进入了迅速发展的时期,在经济建设和现代化建设的进程中,城市的地
随着经济的发展及科技和社会的进步,我国传统的家庭养老观念己开始转变,养老方式由主要以家庭养老为主向以社会和家庭养老共存的方向发展。老年公寓作为一种满足生活自理的健
民事诉讼简易程序是民事诉讼法的一个重要组成部分,有其自身独特的价值,在民事审判实践中发挥着十分重要的作用。随着我国民事诉讼理论研究及民事审判方式改革的不断深入,我