基于序列到序列的抽象式文本摘要研究

来源 :贵州大学 | 被引量 : 0次 | 上传用户:taicangliliang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的普及方便了信息的流通,也让每个人面临海量信息而力不能支,解决信息过载,加快获取文本数据中的关键信息,已成为大数据时代的迫切需求。摘要是文本内容的精髓缩影,可以提高用户阅读理解效率,由此自动文本摘要技术应运而生。伴随深度神经网络研究的兴起和发展,其强大的学习表征能力让抽象式文本摘要技术快速发展,尤其是基于深度学习的序列到序列模型框架脱颖而出。本文从序列到序列模型框架上入手研究,着眼于抽象式文本摘要的关键问题,探索生成更凝练流畅的摘要。针对传统序列到序列模型生成摘要过程中容易发生未登录词和重复的问题,论文提出了一种增强型混合编码模型,通过改进传统序列到序列的编码器部分,将双向LSTM结合卷积门控单元,更好的监视源文本的全局信息,减少生成摘要内容的重复。另外,将混合编码模型结合指针网络,利用指针网络可直接引用输入的源文本,解决未登录词的问题。针对传统序列到序列框架特征提取器本身存在的缺陷问题。论文提出了一种新的序列到序列的文本摘要方法FNP-TRF,该方法基于Transformer语言模型,其编码器和解码器的特征提取器采用纯自注意力机制构建,无需考虑输入输出序列的距离而完全依赖它们的全局依赖关系。另外,在Transformer的基础上加入相对位置编码和N-Stream Self-Attention机制,并修改解码器中的掩码方式,解决Transformer缺乏方向性的问题,并让模型能够以高效的方式在训练过程中完成每时刻同时预测未来的N个字符,加强模型的学习和表征能力。将提出的方法在中文数据集LCSTS和英文摘要数据集CNN/Daily Mail上进行实验,实验结果验证了模型的有效性。
其他文献
中国共产党十八大召开之后,中国进入社会主义建设进入新时代,中国的主要矛盾由原来的“人民日益增长物质需要同落后的社会生产之间的矛盾”转变为“人民日益增长的美好生活需要同不平衡不充分的发展之间的矛盾”;十九大之后,中国共产党立足于中国新的国情与发展需要提出了“乡村振兴”的发展理念;习近平总书记在“十四五”规划中指出“从经济发展能力和条件看,我国经济有希望、有潜力保持长期平稳发展,到‘十四五’末达到现行
为了解决我国日益严重的垃圾污染问题,从1992年开展城市生活垃圾分类地方试点工作至今,我国在构建城市生活垃圾管理法律体系方面进行了积极探索,但是仍然存在着一些尚未解决的问题。分析和解决城市生活垃圾管理中存在的法律问题是改善城市生活垃圾治理现状、促进城市生活垃圾管理良性发展的前提和基础。本文在分析我国城市生活垃圾管理相关理论的基础上,结合了对立法和执法现状的考察,发现我国存在四个方面的法律问题:城市
在我国当前医患关系渐趋紧张的态势下,如何贯彻落实党的十九大精神和习近平总书记关于健康中国重要论述,依法保护患者合法权益,保障医药卫生事业发展,推动构建和谐医患关系,促进平安医院建设,助推健康中国战略实施的有力举措,对医疗纠纷的处理至关重要,如何通过多元化途径解决医疗纠纷,缓和医患之间的关系矛盾,在一起医疗纠纷事件中,如何尽可能的保护患者的合法利益,促进医疗机构的健康发展,同时给医疗人员提供一个安全
新《中华人民共和国政府信息公开条例》(以下简称“新《条例》”)公布已实施一年有余,条例中明确提出“以公开为常态,不公开为例外的原则”,其中,政府信息公开条例的确在有关申请权滥用方面做了规制,但就条例本身而言,规定的过于模糊,而且对这方面的规制少之又少,无论从法律还是实践,并不能做到有效的规制政府信息公开申请权滥用行为,问题还依然存在。我国的政府信息公开制度发展至今天,在“滥用申请权的判断标准”上,
随着百姓生活水平的不断提高,国家政策的鼓励,市民闲暇时间的增多和消费需求的升级,农村休闲农业的需求日益增长。休闲观光农业作为农旅一体化的新兴业态,它在促进第一、第二、第三产业平衡发展过程中起到至关重要的作用,对经济增长、解决农村剩余劳动力、提高城市知名度上也有着长足的影响,对加快农业产业结构调整,带动关联产业发展,解决三农问题,传承历史文化,提高环保水平具有长远现实意义。综合来看,惠水县好花红镇休
近年来,我国经济增长和社会发展步伐加快,疾病谱也有所转变,这对人民的身体健康问题产生威胁,国家和个人对健康问题也越发关注,这些问题的有效解决一定程度上取决于医疗科学研究的发展,医疗科研人员的重要性显而易见。医院科研人员主要由临床医务人员构成,他们往往都肩负着多重工作任务,工作量常处于超负荷状态,工作压力巨大,尤其在大型综合性医院,员工的职级评聘、职务晋升都与其科研成果直接挂钩,这众多的压力影响着科
约翰·济慈(John Keats,1895—1921)是英国文学史上伟大的浪漫主义诗人之一,生平发表了三本诗集,分别是1817年的《诗集》,1818年的《恩底弥翁:诗歌罗曼史》以及1820年的《拉米亚,伊莎贝拉,圣艾格尼丝节的前夜,及其他》。其中《恩底弥翁》是济慈创作的第一首叙事长诗,共四篇,长达四千多行,被认为是其创作的转折点,在该诗中,济慈将其逐渐成熟的诗学观付诸实践,为接下来的名篇创作奠定了
用月桂酸对醇酸树脂进行改性,制得含羟基的浅色醇酸树酯。由该改性树脂同异氰酸酯组份配制的涂料,其干性、丰满度、光泽、硬度等各项性能均较好。讨论了各种合成因素对树脂及涂膜性能的影响。
诈骗罪是日常生活中出现频率较高的一种财产型犯罪,对司法实践中的疑难问题进行研究,有利于对犯罪行为进行精准打击,更好的保护公民的财产利益。行为人是否构成诈骗罪,在进行认定时应坚持被害人主观上具有处分财物的意识,客观上也存在处分财物的行为。司法实践中坚持缓和的处分意识必要说,更有利于合理划分取得型财产犯罪;隐瞒真相同样可能是存在作为与不作为,“隐瞒真相可以通过不作为实现”的观点可以进行适当发展,“虚构
十九大报告当中明确提出,培育新型农业经营主体,健全农业社会化服务体系,实现小农户和现代农业发展有机衔接。2018年的中央一号文件明确指出,必须要将小农生产放在现代农业发展进程里面,其中主要是有构建专业化市场服务组织,提高新型农业经营能力,促进多元化发展。在乡村振兴的战略背景下,积极将小农生产放在现代农业发展进程里面,这不仅是一种理论上的创新,更是一种实践上的要求。本文利用统计分析法将凤冈县人民政府