大规模异构Web的方面搜索研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:fengyunlcj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网应用的深入普及和多元化发展,Web上的信息呈现爆炸式增长的趋势。然而过于庞杂的数据也增加了用户信息检索的难度,使得用户对查询的描述和结果的定位变得愈加困难。因此,如何有效地支持用户对Web信息的检索成为互联网搜索领域的一个研究热点。方面搜索作为一种典型的探索式搜索技术,集成了目录式浏览提供的搜索导航能力和关键字搜索具有的搜索灵活性,为大规模数据空间的信息搜索提供了一种便捷高效的模式。然而方面搜索技术的实现要求数据集具有一个良好的方面分类,对于Web这样缺乏元数据的跨领域数据集,方面分类的有效构建是方面搜索技术在Web上应用所面临的一个难题。同时,Web数据的异构性和大规模特点,以及Web搜索中用户搜索意图的转移性等都为方面搜索的实现提出了更高的要求和挑战。本文研究并解决了在Web上实现方面搜索技术存在的困难,提出了一套完整的从数据准备、搜索模型到排序算法的Web方面搜索方法,并在真实Web数据集上实现了以命名实体为搜索对象的Web方面搜索系统原型:FacetedWeb,通过基准实验比较和用户评测来评估提出的各项技术的性能和有效性。本文首先针对Web文本缺乏有效的元数据,难以构造方面分类的问题,提出一种基于命名实体(Named entity)的Web结构化标注方法,将无结构的Web文档转化成结构化的实体元组,在支持以实体为粒度的语义搜索的同时实现了对Web的方面分类和搜索。同时,结合Web数据集上进行实体识别和元组构建时存在的不确定性,提出一个基于用户导航开销的Web方面搜索框架。接着,本文分析Web数据集的大规模、异构等特点对方面搜索提出的新挑战,依次研究了适用于Web方面搜索系统的搜索模型、排序算法等,并提出相应的改进方法:1)扩展式搜索模型:针对Web搜索中用户意图的不确定性和转移性,以及大规模的Web数据给搜索效率带来的挑战,提出一种扩展式搜索模型。扩展式搜索优先搜索与查询大量共现的、相似度高的实体来构成初始的结果集,在保证较高的结果精确度的同时极大地提高了搜索的效率;同时,在迭代搜索过程中,扩展式搜索模型不仅对初始结果集进行精化,而且依据用户通过选择方面所表达的查询意图的变化,动态地获取与用户新的查询意图相关的实体,对初始结果集进行扩展,有效地提高了迭代搜索过程中结果的有效性。2)快速实体排序算法:为提高大规模Web数据集中实体的排序效率,提出一种增量式的快速实体相关性算法:FastPPV。FastPPV将精确PPV计算中所涉及的访问路径划分成重要程度不同的子集,通过调度路径子集来对PPV计算的效率和精确度进行调控。同时还提出了基于hub结点的FastPPV的高效实现。以路径的hub长度作为路径重要性的衡量标准来有效地划分路径子集,并利用离线阶段预计算的hub结点初始PPV来组合任意查询、任意迭代时的PPV增量,实现了不同PPV计算过程中的组合复用,极大地提高了计算的效率。3)动态方面排序算法:针对异构Web方面搜索过程中用户关注点的转移性以及扩展式搜索模式可能存在的实体遗漏情况,提出一种结合方面的局部相关性和全局相关性的动态方面排序算法。通过计算方面的局部相关性,即,基于当前搜索结果集计算的方面与查询的相关性,可以确保方面列表能够反映用户浏览重心的动态变化,提供满足用户搜索意图的结果;另一方面,基于整个数据集来计算方面的全局相关性,发掘方面之间的固有联系,为用户访问在初始结果集中缺失的实体提供了路径。在原型系统FacetedWeb上的大量实验验证了上述扩展式搜索模型及实体、方面排序算法在结果有效性和搜索效率上的优势。
其他文献
自从20世纪80年代开始写作以来,迟子建在书写现实的同时将自己的笔触及到人性的深处。在其均获鲁迅文学奖的《清水洗尘》和《雾月牛栏》中,迟子建挖掘出隐藏在粗糙现实背后的
皮肤恶性梭形细胞肿瘤种类较多,如非典型纤维黄色瘤(AFX)、梭形细胞鳞状细胞癌(SCC)、梭形细胞/促纤维增生性恶性黑色素瘤、皮肤隆突性纤维肉瘤(DFSP)和平滑肌肉瘤等,这些恶性梭形细胞
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
发展循环经济,是我国实现经济增长方式根本转变的重要途径,是全面实现小康社会发展目标的必然选择。本文在研究发达国家循环经济理论发展和实践过程的前提下,对集约型经济增长方
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
机械工程材料主要是指用于制造各类机械零件、构件的材料和机械制造过程中所应用的工艺材料。近年来,随着科学技术的高速发展,国防机械工程材料也开始应用在各行各业中,并且
随着现代化工业进程的不断加快,对机械设计行业也提出了更多的要求。机械设计中的材料的选择和应用是机械设计行业的基础。在新形势下在材料进行材料选择和应用时要全面考虑,
文章以2012年到2016年我国高能耗上市公司为样本,采用主成分分析法提取了公司治理因子,对平衡面板数据应用固定效用模型进行回归分析,发现公司治理好的企业资产负债率要高,供
伴随高等教育改革的进一步推进,作为艺术教育大类之一的音乐教育面临着新的挑战。如何打破现有的音乐教育管理弊端,提出切实可行的改革方案和对策,以实现音乐艺术教育的长久健康
当前欧亚经济联盟(EAEU)的建设成果需要加以评估。一方面,欧亚经济联盟并不是一个完美无瑕的“成功故事”。在最初的快速发展之后,欧亚经济联盟目前的成长速度已经放缓。但另