基于内容的文本分割关键技术

来源 :东北大学 | 被引量 : 0次 | 上传用户:FACYFACYFACY
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
一般而言,稍长的文本往往都会涉及几个主题或同一主题的多个方面,如果能够自动划分出文本的这种语义结构,将语义段落作为基本处理单元,则会极大的改善传统文本处理技术以篇章作为基本处理单元的现象,对文本的分析可以从原来的篇章级别细致到语义段落级别。文本分割技术能够将一篇文本按照语义关系自动识别为具有独立意义的若干个语义段落,并用标记将其区分以备深层分析之用。文本的内容是由词组成的,而词又要放到文本中去理解,词与文本之间是相互制约的。文本为了描述同一核心主题,而频繁的出现相同或相似的词汇,这种词汇集聚现象直观的反映了主题的相似性。人们阅读时也往往通过重复出现的词汇了解文本内容。这里所说的词汇重复也包括词汇的语义重复。本论文通过分析文本分割领域著名的模型来总结基于内容的文本分割模型的设计理念。文本分割的本质是根据主题相似性线索在文本内部找到主题与主题之间的边界位置,使得同一语义段落内部具有最大的主题相似性,而不同语义段落之间具有最小的主题相似性。因此,一个文本分割模型要解决的最根本问题就是主题相似性度量和边界搜索策略。本文提出了综合考虑文本相似度,区域相似度、语义段落长度、基于句对距离的相似度加权策略等多种线索来刻画主题相似性,在此基础上选择合适的边界搜索策略,获得性能上的优势。本文通过研究文本分割领域著名模型,针对其存在的问题,提出自己的解决方案。基于全局的文本相似性,用Dotplotting搜索策略每次分割出一个主题边界,本文提出了MMD模型;基于局部的区域相似性,用动态规则方法在所有决策略中搜索最优解,本文提出了MMF模型;基于词汇潜在的语义关系,尝试挖掘词汇间、文本间在上下文环境中的相互关联的量化关系,从而提高文本相似度计算的质量,本文提出了DLSA模型。针对国际公认的文本分割合成语料不能很好的反映分割模型在自然语料上的性能。本文通过构建真实的文本分割语料,来评测本论文所重点讨论的模型的性能优劣。
其他文献
细菌性腹膜炎是CAPD的主要并发症。本文综述近年对腹腔防御机制的研究情况,提出一些病人因存在局部防御功能的缺陷,因而对外来微生物易感染而发生腹膜炎。
摘 要:随着我国的高校的不断扩招,学生的数量不断增加,就业压力越来越大,并随着社会的不断发展,对应用型人才的需求,高职院校在教学工作方面,应当加强培养学生的创新创造能力。就高职雕塑专业而言,其学科实践性强,为了能够提高学生的创新能力,解决学生的就业问题,培养新型应用型人才。校企合作模式的应用,能够根据企业需求,定向培养专业性人才,从而解决当前高职雕塑专业面临的众多问题。  关键词:校企合作;高职;
摘 要:在历史学科核心素养中,培养学生具备家国情怀,是其中一项必须要达到的要求,是现代素质教育追求的目标。初中历史教师应当担起责任,将培养家国情怀作为教学目标之一。本文以中国近代史教学为范围,从作业设计出发,浅谈家国情怀素养的落实策略。  关键词:家国情怀;中国近代史;作业设计     家国情怀,是学习和探究历史应具有的价值关怀,要充满人文情怀并关注现实,以服务于国家强盛、民族自强和人类社会的进步
《太平广记》是一部由宋初李昉等十三人奉旨集体编纂的官修类书总集,其作为我国现存最早最大的古代野史、传奇、笔记小说总集,为我国古代史文献的保存作出了巨大的贡献,是历
<正> 返流性肾病(RN)是原发性膀胱尿管返流(VUR)的主要并发症。其特征为局灶性肾脏疤痕形成。以往所谓的“慢性非梗阻性萎宿性肾炎”(肾节段性萎缩)实际上是本病的一个类型。
采用凝胶—溶胶法制备了In掺杂SnO2/Ti电极.采用In掺杂SnO2/Ti电极为阳极,Ti为阴极电解4-硝基苯酚,实验了电流密度、电极间距离和废水pH值等对4-硝基苯酚电解去除效果的影响,
摘 要:高职院校在开展各个阶段学生专业指导期间,核心就是按照学生未来就业所开展的。设定就业指导目标,结合现阶段的高职院校实际情况,显然存在一定的问题,需要将就业指导工作系统完善建立起来,进而实现对就业指导模式的优化调整,为学生的未来就业以及职业生涯发展奠定良好基础条件。  关键词:高职院校;就业指导;存在问题;改进措施     一、 引言  近年来我国高职院校教育教学工作不断推进,结合现阶段的职业
回乡偶书(唐)贺知章作刘重德译少小离家老大回,乡音无改鬓毛衰;儿童相见不相识,“笑问客从何处来?”HomecomingByHeZhizhang;Tr.LiuZhongdeIlefthomequiteyoung.Icomebackhomeveryold...
“乡村振兴战略”的核心要点在于改造基层,而基层治理的则应当把重心倾向于乡村建设。随着国家一系列精准扶贫计划的提出实施,在我国经济欠发达的西部地区,以甘肃张掖为代表
介绍了新型变直径灌注桩——挤扩支盘桩和旋扩珠盘桩的工作原理,主要优缺点和施工技术要点.设计了模拟挤扩和旋扩成盘的模型试验方案并进行了一系列的模型试验,根据模型试验结果