实体搜索与实体解析方法研究

来源 :兰州大学 | 被引量 : 8次 | 上传用户:yangxinquan911
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从非结构/半结构化数据中快速准确地搜索到各种实体(例如人名、组织机构、产品和药品)及其相关信息成为很多应用的关键,包括信息检索、推荐系统和社交网络等。近几年的研究成果显示,实体相关搜索占互联网查询的很大一部分,并且这个比例在不断上升。相对于单个字符或者指定长度的短语,实体能够更准确的描述文本的语义特征,从而帮助用户快速了解文本的核心内容。然而,随着互联网数据的不断增长,信息检索变得越来越困难,尤其是实体的不唯一性(歧义性)成为一个普遍存在的问题。首先,许多不同的实体拥有完全相同的名称,例如在中国有超过29万人叫“张伟”;在查询框中输入一个实体名称,搜索引擎返回的前100个网页常常会涉及到多个共享相同名字的不同对象。其次,同一个实体常常会以多种形式存在于不同数据源中(即别名),例如“中华人名共和国”常常被称为“中国”或“P.R.C”;刘翔曾被誉为“亚洲飞人”等。在医药业的“一药多名”和“一名多药”问题也很严重,药品名称的不唯一性匹配,为正确用药带来了巨大的阻碍。以上两个问题分别为实体同名歧义和实体别名识别,这两个问题的解决过程是相对的同时也是密切相关的,他们是实体搜索和解析过程中的两个最重要的问题。本篇文章针对实体搜索工作进行了大量的调研,分析了包括表层网络、社交网络以及企业内部网络等不同来源的数据特性。并针对实体同名歧义和实体别名问题分别提出有效的解决方案。此外,基于本文提出的实体同名消歧的解决方案,我们开发了一个人物搜索系统。并对本文提出的别名发现解决方案进行扩展,使其适用于动态数据环境。在这些研究中,我们重在对非结构化文本进行分析,充分利用自然语言处理方法探索文本中的单词、实体、句子的结构特征和内容特征,通过数据挖掘算法为这些信息建立联系,以解决实体搜索和实体解析中遇到的问题。本论文的主要贡献如下:1.实体搜索综述。介绍了实体搜索中遇到的问题及采用的技术方法,简单描述了现有人名搜索系统、人名搜索相关问题及未来研究方向。2.实体同名消歧。以人名消歧为例进行相关研究,利用自然语言处理工具对搜索引擎返回的非结构化文档进行命名实体提取,将提取的实体作为人物标签,建立基于实体标签的图结构,最终为拥有相同姓名的不同的人分配实体标签对其进行唯一性描述。另外,我们开发的人名搜索系统将给定的人名作为查询词,输入到现有搜索引擎(即谷歌、雅虎或必应)中,利用我们提出的消歧方法对返回的结果进行人物同名消歧,使得用户可以清晰看到拥有查询人名的不同人物的关键实体信息。3.实体别名发现。本文对实体-别名之间存在字符串相似性和无字符串相似性的两种情况分别进行研究。对于第一种情况,我们首先基于字符相似性提取出别名候选,然后建立实体-关系图进行别名选取。对于别名与原实体基本不存在字符相似性的情况,研究工作面临更多挑战,本文提出基于实体子集分割的方法进行别名候选的筛选,然后通过主动学习的分类方法来确定给定实体的最终别名。总体来说,本文的实体别名发现方法旨在通过探索给定数据集中实体之间的关系,设计初始过滤方法来提取给定实体的别名候选,然后使用非监督式/监督式方法来探寻给定实体与别名候选之间的相关性,最终为每一个给定实体输出一个别名列表。4.动态实体别名发现。随着新的数据添加到给定数据集中,基于这个数据集而建立的实体-关系图结构也需要进行相应的更新操作(点边的插入、删除和修改),以往的静态解决方案已不再适用于这样的动态环境,因此,本文提出基于实体索引的路径搜索方法,以此来实现动态图的更新,并将这个动态方案用于增量式的实体别名发现问题中。
其他文献
日语可能表现有多种形式,其中比较常用的有「…ことができる」「(ら)れる」「~得る」三种基本形式及他动词的可能态,如「書ける」、自动词可能态,如「見える」等形式。近年来,随着语
《伤寒论》中大青龙汤证原文见于第38条和第39条,原文的描述存在着诸多疑点,例如,前条曰:"太阳中风,脉浮紧",后条曰:"伤寒,脉浮缓",看似自相矛盾,历代各家对此也有不同的认识
本文简要介绍了数字媒体对动画设计的影响,并讨论了数字媒体技术在中国动画设计中的应用关于在新形势下如何促进我国动画设计进一步发展的建议。笔者认为计算机图形学不仅是一门理论科学,而且是一门实践性很强的学科,本文为笔者的个人见解,希望为相关领域的发展提供一定的帮助。
针对LED可见光通信技术的应用,本文设计了一款基于STM32的可见光音频通信装置,采用白光LED实现可见光通信。该设计以STM32F103单片机为主控芯片,设计包括系统硬件设计和程序
目前,我国已经进入信息化时代,无线通信技术在消防灭火救援现场的优势显而易见,能够有效提高消防现场指挥效率,因此无线通信技术被广泛应用到消防领域之中。本文从无线通信技