面向主题的多文档自动文摘关键技术研究

来源 :上海交通大学 | 被引量 : 9次 | 上传用户:david_jts
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网的迅速崛起,用户经常使用移动终端在大批量文本信息中快速查找并获取有用的信息。这就要求信息服务供应商具备能够提供对大批量文本内容快速并且有效的挖掘,并且用简洁概括的方式向用户呈现重要的信息的能力。用户可以使用手机订阅自动文摘服务。该服务就可以自动从多篇文档中抽取出重要信息,并按照主题将信息呈现给用户。高质量的自动文摘内容脉络清晰,可读性强,能够多角度向用户呈现事件的来龙去脉,节省用户浏览信息的时间,同时能够减轻用户需要从多个信息源获取完整信息的负担。本文正是在这种技术趋势下,对面向主题的多文档自动文摘关键技术进行了探索性研究。本文的研究提出了以下创新性的理论和方法:1.提出一种新颖的基于LDA的建模方法来捕获文档集中的主题。为了能够定量评估该建模方法的有效性,本文使用该建模方法从大批量同类型文本集合中生成面向主题的文摘描述模板。首先提出一种基于LDA的实体主题模型,该模型用来同时对句子和句子中的词进行语义标注和聚类。其次,在已经聚类并且标注好的句子的依存解析树上利用频繁子树模式挖掘算法来构建面向主题的文摘描述模板。为了进一步验证生成模板的有效性,本文实现了一种基于模板的面向主题的自动文摘生成方法。2.提出一种非监督机器学习方法去生成面向主题的多文档自动文摘。在该方法中,提出了基于LDA的事件-主题模型,该模型扩展了的传统的LDA模型,通过计算单词在领域中出现的概率分布,以及在特定事件文档中出现的概率分布,有利于改善句子聚类的效果。其次使用扩展的LexRank算法对每个聚类簇中的句子进行排序,接着从每个聚类簇中使用整数线性规划生成能反映主题的代表性句子用来作为文摘。该方法的主要优势是把句子聚类,排序和选择有机地串联在一起。同时我们又改进了基于依存解析树句子压缩算法,使压缩效果显著提高。3.提出一种新颖的基于语言生成模型的自动文摘生成方法。该方法首先从句子的依存解析树中抽取重要的片段信息,其次利用这些片段信息同时结合英语句法知识对原始句子进行重构。句子重构的实现是利用英语句法结构把片段信息翻译成语言生成模型的输入,然后通过自然语言生成模型,生成包含片段信息的简单句子。最后使用整数线性规划方法从重构后的句子集合中选择出与主题最相关的句子集合。4.提出一种新颖的ccTAM(Cross collection topic aspect model)模型来对文档集中的主题和方面建模。然后利用该模型的输出,在二分图上使用迭代互增强来抽取互补式文摘。基于上述理论和方法,本文实现了一个面向主题的多文档自动文摘系统。该系统连续两年参加国际权威会议TAC组织的自动文摘系统评测,各项指标取得了良好效果。
其他文献
就施工企业把最低标中标当作低价竞标的错误认识及低价竞标存在的原因,浅析其危害性及解决的策略。
在“博客”热度渐减时,一群被称作“威客”的人又悄然现身在互联网上。在某广告公司任职的阿眉每天下班后回家第一件事就是上“威客”相关网站,在上面搜寻适合自己做的任务,不久
郑州女裤希望成为与深圳、杭州并列的女装第三极。1月5日,郑州逸阳服饰工业园内人声鼎沸,2014年河南省服装界新春联谊会在此举行。这同时也是逸阳服饰电子商务经验推广会。在
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
<正>前些时候,日本国立大学协会宣布,将在2020年前把该协会所属86所国立大学的外国留学生人数增加一倍。这意味着外国留学生将从国立大学学生人数的5%增至10%。现在中国留学
随着经济的发展,经济全球化的趋势愈加明显。在进行工程招投标的时候,也应该根据需要将工程量清单计价模式运用进来。本文主要对工程量清单计价模式进行了研究和分析,并研究了工
吹打乐是中国传统的器乐种类之一,是由吹奏类乐器和打击类乐器两类乐器共同演奏的音乐,我国民间俗称锣鼓或鼓吹乐。本文所研究的宜春三星鼓是一种广泛流传于宜春民间中的吹打
电力系统的平稳运行是维持整个社会正常状态的必要支撑,保障配电安全才能更好地满足人们的用电需求。因此研究配网运行的安全风险因素及相关的规避措施有着重要的现实意义。
当机床处于高速加工状态时,其进给系统的不可控振动对工件加工质量影响巨大,为提高机床结构的稳定性、减小振动,必须对其开展动力学研究。在常用的有限元仿真中,结构的可动结
开展"两学一做"学习教育,是面向全体党员深化党内教育的重要实践,本文分析了在"两学一做"学习教育中对医院政工干部的要求,并结合相关实践经验,从多个角度与方面提出了医院政