Web对象的信息抽取的关键技术研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:isc70279
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的高速发展,Web已经成为世界上最大的信息来源。如何获取有用的Web信息则是大家面临的共同问题,Web信息抽取就是针对这一问题而提出的。目前大部分信息抽取仅停留在对纯文本的信息抽取上,对网页文本的特殊性考虑不足。另外,信息抽取也很少涉及语义的理解。针对这些问题,本文以当前招聘网站上海量的招聘信息为试验数据,来进行定题Web信息挖掘和信息抽取的研究。   本文围绕Web对象抽取中的关键技术展开研究。通过对Web页面特点的分析,实现Web页面的自动分割,从而获得主题文本。将主题信息抽象成Web对象,从而根据Web对象的特征来进行Web对象的命名实体以及实体关系的识别,并且通过实验说明改进的模型对于信息抽取有很好的效果,最后提出了系统的不足和未来的研究方向。具体的研究内容包括:   首先,针对网页是二维的特点,根据网页的结构和文本内容特征,提出了基于网页的多重特征表示方法,实现了对于网页语义层面的特征表示。为了体现网页各个区域差异,采用二维模型对其建模,将传统的HMM推广到伪二维隐马尔可夫模型,由此本文提出了基于伪二维隐马尔可夫模型的网页自动分割技术。   其次,根据Web抽取信息的特点,引入Web对象的概念。将结构特点和文本特点这两种一维特征相结合,并且进一步将这种一维特征抽象为语义纹理的二维特征,从而实现了从对象本身进行抽取方法的改进,并为后文利用一维特征对Web对象实体的识别,以及二维特征对Web对象实体和属性关系的识别做准备。   再次,针对Web对象的一维特征,从Web文本的结构特点和内容特点进行了分析,采用统计模型和实体特征相结合的方法,提出了一种DSTCRFs模型,利用该模型不同的层次来进行Web对象的实体以及属性的识别,尤其是针对一些复杂的嵌套实体的识别,从而将职位名、机构名、地名、时间等命名实体的识别放在统一的框架下完成。   最后,传统模型多利用Web文本的结构和内容特点进行实体的特征描述,并且需要依赖于VIPS树进行建模。本文在传统模型的基础上,将结构和内容特征抽象为语义纹理,用二维特征来进行对象实体及其属性的特征描述,提出一种针对Web对象的HT-CRFs信息抽取模型。该模型采用一种逆向过程,通过语义来发现结构,而不像传统方法是通过结构来发现语义,解决模型对网页结构过度依赖的问题,使得模型对Web对象识别的准确性更高。  
其他文献
近年来随着互联网用户的不断增加,用户产生的信息呈现出指数级的增长,这些信息中的很大一部分都是以数字图像的形式存储的,面对海量的图像数据,在充分识别图像的基础上既要对
软件复用技术是克服“软件危机”,从根本上提高软件生产率和质量的一种比较有效的对策和方法,而基于构件的软件复用是目前软件设计和代码复用的成熟和主流技术。随着软件应用
图数据的不确定性普遍存在,研究不确定图上的高效查询处理与模式挖掘方法具有重要意义。本文研究的不确定图是指边上附带存在概率的不确定图。现有的不确定图上的查询和挖掘
分布式拒绝服务(Distributed Deny of Service, DDoS)攻击是目前威胁最大危害最严重的Internet主要攻击手段之一。DDoS攻击是基于TCP/IP协议当初在设计上的缺陷和Internet的
随着空间信息技术的发展,越来越多的网络应用服务需要以空间信息为基础,在这种背景下,G/S模式应运而生,为海量、多元、异构空间信息的组织、管理、展示和描述提供了新的解决
在网格资源管理中,越来越多用户对资源提出了不同的QoS需求。大多数现有的网格资源管理系统采取的调度策略仅以提高系统或资源的利用率以及在最早时间内完成任务为目标,或者
目前,卫星遥感图像在生产和生活中得到了广泛的应用。卫星遥感图像较高的使用价值和商业价值,使得对卫星遥感图像的控制流转也越来越被重视。本文的研究目的在于解决卫星遥感图像在其生命周期中各个阶段所面临的安全问题。本文根据以前电子文档安全保护项目的经验,并结合卫星遥感图像的特点,提出了一个贯穿卫星遥感图像整个生命周期的安全解决方案。该方案主要完成两个任务:访问控制及图像版权的识别。围绕第一个任务,本文首先
随着电信业务、电子商务、办公自动化以及企业计算等领域的发展,产生了Web服务技术。Web服务组合是Web服务技术的主要研究内容,主要是为了满足用户或企业的复杂请求。为了使
伴随着互联网及应用和服务的普及,网上信息量以带宽的指数级增长,互联网用户信息检索的难度和复杂度也不断提高。因此,搜索引擎越来越引起人们的重视和关注。Google曾宣称它
伴随着经济的不断发展,人们生活质量的不断提高,紫外线也成为很多人关注的焦点。紫外线做为防晒的重点,它也有着其他的功效。紫外线已经在医学、工业、军事、养殖等很多领域