垂直搜索引擎中数据清洗及排序算法的研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:qwaxjl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网高速发展,信息急剧增加,而搜索引擎始终是访问这些信息的重要入口。信息类别越来越丰富导致通用搜索顾此失彼,因此人们对面向特定领域的垂直搜索引擎的需求越来越大。本文首先通过与通用搜索引擎的对比介绍了垂直搜索引擎的概念,分析了垂直搜索所面临的问题,并针对某些问题试图给出解决方案。针对互联网中的信息存在大量重复、错误、不完整和不断更新的情况,本文提出了一种新的数据清洗框架,它通过聚合重复记录的方式对数据进行有效清洗,显著提高了数据的完整度和准确性,同时能保证实时性。针对数据清洗中的记录关联问题,提出了一种基于Lucene的分块方法,在保证效率的同时提高了记录关联的精度与召回率。为了不断提高用户的搜索效率,本文首先分析了提高搜索排序效果的各种途径,然后从个性化的角度展开研究。在借鉴个性化推荐技术的基础上,将基于内容的推荐算法和隐语义模型运用于排序问题,进而提出了面向排序的隐语义模型,并在MovieLens数据集上使用NDCG作为评价指标,实验验证了该方法的有效性。最后,本文在一个视频搜索引擎中实现了文中提出的方法,经测试,验证了方法的有效性,并且该系统的数据完整度高、差错少,系统响应速度快,搜索效率高,满足了用户对视频搜索的需求。
其他文献
本文在深入学习相关规范和调研行业企业的基础上,主要探讨了该课程的实践教学设计和可以开设的实践教学项目。本文对于该课程的教师教学和学生学习具有一定的参考意义。
摘 要:本文首先阐述了网络信息的现状以及学生对网络信息的使用情况。总结出网络信息的四个特点:网络信息的及时性、保存性、新颖性、多样性。  关键词:网络信息;大学数学教学;教学模式  21世纪是网络信息的时代,高校作为人才培养基地,网络信息随时随地可见。但是当代大学生更多的是通过网络进行聊天、看球、玩游戏、看网络小说等等,严重影响了个人的学业。大学数学对工科、理科学生的学业至关重要,但由于工科数学的
摘 要:学分制教学管理制度是高等教育改革的发展趋势,机械制造实践教学是高等院校培养学生工程实践能力和综合创新能力的重要课程,但是实行学分制下的机械制造实践教学,一直是高校实施学分制教学制度的短板。本文详细分析了传统金工实训教学体系的特点和不足,紧密结合创新型、综合型工程师所需要的能力素养,提出了学分制下以项目驱动为教学导向的机械制造实践教学改革,并在实践中取得了一定的成效。  关键词:金工实训;机
摘 要:LED照明技术是面向光电子行业的一门特色专业课程,其主要目标是为LED行业培养具有创新能力的高水平应用型人才。本文以应用型人才培养目标为向导,探索了“校企合作”的新型人才培养模式。  关键词:发光二极管(LED);校企合作;课程改革  当前LED行业迅速发展,而我国LED行业人才培养却相对滞后,尤其是高级技术人才更是匮乏。LED照明技术是面向新兴光电子产业的一门专业核心特色课程,是一门与企
随着我国城镇化速度的加快,带动了建筑业的持续发展,导致我国建筑业规模不断扩大,由此驱动了能源消耗的加剧和碳排放的增长。近零能耗建筑因其低能耗、高能效、对环境污染少
本文主要讲述了"音乐剧"的发展历程,随之引出安德睿·劳依德·韦伯在音乐剧创作方面的突出成就及其取得成就的原因。通过分析,对我国音乐剧创作提出建议。
Presentation教学法是一种新型教学模式。通过Presentation教学法在高职院校旅游英语课堂中的应用,本文探讨了该教学法在实际运用中产生的教学效果、优势及存在的问题。
电机泵是一种新型液压动力源,和传统液压泵相比,具有功率密度大、结构紧凑和噪声小等优点.然而,由于电机泵集成度高,国内外对电机泵运动研究的比较少.从电机泵内配流阀和柱塞
随着高性能稀土永磁材料出现与成本的降低,电控永磁技术得以迅速发展与广泛应用。在电控永磁技术调磁研究中,有关准确控制磁性材料不饱和磁化时的磁化水平研究较少。而基于电控永磁技术设计的电控永磁吸盘具有磁吸力强劲、稳定和节能等优点。将电控永磁吸盘应用于工件变力夹紧,能够满足不同工艺要求,保证工件加工质量。因此对电控永磁吸盘的调磁研究具有重要意义。以变力夹紧电控永磁吸盘为研究对象,对电控永磁吸盘磁路分析计算
2011年5月16日,《高校地质学报》主编、副主编第五次联席会议在南京大学顺利召开。到会的副主编有:莫宣学院士(中国地质大学),郑永飞院士(中国科技大学),潘懋教授(北京大学),杨树蜂