企业搜索引擎关键技术研究

来源 :北京邮电大学 | 被引量 : 5次 | 上传用户:raggae
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的极速发展,企业、学校、社区存储在网络上的信息数据越来越多。传统的通用搜索引擎因其爬虫循环周期长、资源维护更新慢、使用成本高、检索内容宽泛等原因,无法适用于专用性强,数据更新频繁、成本受限、检索精度要求高的企业网络。本论文针对企业网特点,引入网页更新时间的影响,将词频位置加权算法和PageRank算法相结合,设计了一种针对企业网的评分排序算法,同时改进现有分词方法,设计并实现了一个面向企业网的搜索引擎。本文主要贡献如下:1.对搜索引擎相关技术和Hadoop分布式平台相关技术进行研究。本文对搜索引擎主要构成和相关关键技术进行了研究,对倒排索引、中文分词、排序评分、ROBOTS协议等多个方面的技术进行了介绍分析。本文对Hadoop分布式平台相关技术进行了分析研究,着重对MapReduce和HDFS进行了详细的分析研究。2.设计了一个针对企业网的全文检索评分排序算法。影响全文检索准确率的关键因素是文档评分算法和中文分词算法。本文结合词频加权算法和PageRank算法,并引入时间影响因子,设计了一个面向企业网的全文检索评分算法。为了使本文设计的评分排序算法拥有更好的效果,本文引入了Ik Analyzer分词,针对IK Analyzer分词在歧义消除方面的不足,本文基于双字耦合度歧义消除算法对分词算法进行了改进。3.在Hadoop分布式平台上设计并实现了一个针对企业网的分布式搜索引擎。本文在Hadoop分布式平台之上,引入设计的全文检索评分算法,结合分布式编程模型MapReduce和Hadoop分布式文件系统HDFS,对企业网搜索引擎分模块进行了设计并予以了实现。4.对实现的分布式搜索引擎进行了测试研究。本文最后对设计实现的搜索引擎进行了测试分析,在实验室部署一个3节点的分布式搜索引擎,对其进行了相关的测试工作。
其他文献
Current methods for assessing the environmental impact of point source discharges in the United States are reviewed. The emphasis of many assessments of damage
【摘 要】阅读教学是初中语文教育中的重要部分,直接体现语文教学质量和影响。新课程改革的不断推进也促使初中语文教师积极探索创新的教学方式方法,力求提高初中语文课堂阅读教学的有效性。  【关键词】初中语文 阅读教学 有效性  初中语文教学的任务与目的不仅是教授学生语文知识,传授学生阅读方法,更多的是提高学生的语文素质、培养学生良好的学习习惯,学生掌握必要的阅读技能和学习能力。初中语文阅读教学不是单一的
An objective and quantitative evaluation method on land environmental quality for agricultural purpose in a county range is studied in this paper. The method ta
借壳上市是企业合并重组的一个手段。过去一年资本市场上借壳上市就达到了65家,为历年最高,这说明尽管证监会将借壳上市标准同趋近于IPO更改为等同于IPO标准,将借壳上市的标准门
摘要:城市河道既是城市水生态环境的重要载体,又是重要的滨水景观资源,在社会经济发展中发挥着重要的作用。城市河道的防洪排涝作用对保障国民经济发展和人民安居乐业具有重要
介绍了一种基于单片机的汽车倒车测距仪的软硬件设计过程,系统以STC89C52为控制核心,采用温度补偿的超声波测距系统,实现倒车防撞报警功能。该倒车测距仪能测量并显示车辆后部障碍物与车的距离,同时用间歇的"嘟嘟"声发出报警,"嘟嘟"声的间隙随离障碍物距离的缩短而缩短。该系统的测距范围是0.1m-10m,具有结构简单、体积小、使用方便等特点。
本文在详细阐述了ARINC429总线传输规范的基础上,主要介绍了以MSP430为控制器的航空ARINC429总线测试接口电路的软硬件设计方案。该接口电路以MSP430为控制核心,采用专门的42
高速动车的快速性、便捷性、安全性及舒适性等优点使其成为人们出行的重要交通工具之一,在人们的生产和生活中占有越来越重要的地位。高速动车的安全运行关系着广大人民的生命
移动网络应用技术发展迅猛并广泛普及,基于移动网络下的图书馆联盟服务也将成为图书馆信息服务的主流与趋势。本文主要阐释了图书馆目前发展图书馆联盟的趋势、介绍移动网络
期刊