Blog文档的自动文摘方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:competent110
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着因特网的高速发展、信息爆炸时代的延展,人们对于信息的获取又有了新的需求。人们不再仅仅满足于由新闻媒体、信息门户等网络信息实体所展示的文章或多媒体信息,而是更加倾向于同网络中其他用户的信息交流、分享与互动。随着这种需求的不断增加,作为提供用户信息交流的WEB2.0信息实体的典型代表,Blog获得了广泛的关注与发展。由于Blog具有文章良莠不齐,评论噪声偏多的特点,如何结合Blog评论获取Blog文章的主要内容来给予读者一个简要的内容展示是许多基于Blog的应用所要面临的难题,而对面向Blog的自动文本摘要技术的研究为解决这个难题提供了一种思路。目前对于自动文本摘要技术的研究大多关注的是对单个文档或是属于同一主题下的多个文档的文本摘要技术,而对于特定交互式网络实体的相关文本摘要技术的研究较少。目前比较成熟的通用自动文本摘要技术大多对Blog文章的内容以及结构特点的理解与分析存在着偏差,生成的文本摘要的质量也不高。而在面向特定应用的自动文本摘要技术中Blog文章的处理方法也相对较少,而且效果相对较差。本文通过分析Blog的组成元素以及各元素之间的联系与特点,对面向Blog文章的自动文本摘要方法进行了研究,并提出了相对应的文本摘要方法,最后通过实验证明了该方法的有效性。本文的研究内容主要包括如下几个方面:1.提出了一些可以用于量化Blog相关元素重要性的特征。本文通过分析Blog各个组成元素的特点,提出了Blog统计特征、内容复杂度及观点独特性等可以量化相关元素重要性的特征。相关实验证明本文提出的几种量化特征能够有效的提高Blog文本摘要的质量2.提出了一种Blog评论排名以及噪声过滤的方法。在根据正文与评论的相关特征,通过相应的回归特征量化方法得出Blog评论重要度的基础上,设定噪声过滤阈值。通过相关实验证明这种重要度量化方法以及相应的噪声过滤方法能够有效的得到Blog评论的重要度并在过滤噪声时具有较高的查全率和查准率。3.提出了一种基于HITS图算法的正文句子排名方法。本方法中将正文句子和评论抽象为图节点,通过分析评论与正文的关系得出相应的链接图,最后根据HITS算法得出正文句子的排名情况。4.基于对以上几点问题的研究,本文提出了一种面向Blog文章的自动文本摘要方法。该方法具体工作流程包括Blog评论权重计算、评论噪声过滤、正文句子权重计算、摘要生成等步骤。通过在凤凰博报数据集上的实验证明,本方法茌ROUGE值上优于以往方法。
其他文献
为了解决物联网(Internet of Things)的内在矛盾,引入了语义协同(Semantic Collaboration),形成新一代网络--语义物联网(Semantic Web of Things)。但语义协同过程中存在两个
随着Web2.0逐渐走向成熟,网络中出现了大量的用户生成意见文本,意见挖掘因此而成为自然语言处理领域的一个研究热点。作为意见挖掘研究的关键问题之一,情感极性分类的目的是
现如今,为满足营销和消费者偏好分析的需要,商户往往会将交易数据,包括敏感信息PAN(持卡人的银行卡卡号)进行存储,这使商户系统易成为攻击者的目标。此外,虽然创新支付方式的
Folksonomy是一种基于Web2.0的新型知识分类方法。Folksonomy由用户、资源、标签三个重要元素组成。具有自由性、共享性和用户性等特点。在实际应用中Folksonomy系统常常受到
随着互联网技术的发展,Web服务已经在企业应用集成、工作流、电子商务等领域获得广泛的应用。Web服务的质量保障是影响其应用的关键问题,其中可靠性是一个重要的方面,要求系
互联网的影响已经深入到人们生活的每一个角落,随着电子邮件,电子商务等应用的出现,互联网安全的重要性也愈发凸显。现有互联网中的安全基于协议分层的网络体系,存在着安全协议功
现今信息网络中光纤网络承载着人类社会80%以上的电信业务,支撑着我们的信息社会并引领着网络世界的更新和变革。快速发展的WDM(波分复用)光网络中,网络设备的故障失效会导致多
随着传感器技术和网络技术的不断发展,无线传感器网络越来越多的应用到人们的日常生产和生活当中,煤矿安全监测系统就是一个典型的应用。相比于传统的有线监测,使用无线方式
近年来,我国高速铁路的发展突飞猛进。动车组运用检修是高速铁路安全运营的重要保障,其质量和效果是关乎动车组安全和高速发展的关键因素。动车组运用检修作业需要多部门、多
无线Mesh网已经成为了一种非常具有应用前景的新型无线组网技术,特别是多射频多信道无线Mesh网,由于网络中有多个信道可供分配,每个节点有多个射频,这样网络的健壮性、灵活性和性