结合迁移学习的文本自动摘要技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:hanyi1983
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着新时代信息数据的爆炸式增长,人们正面临着信息超载这一不可避免且有挑战性的问题。如今基于机器学习的文本自动摘要技术,有助于人们能够快速?准确地从海量的文本数据中获取关键信息。已有的文本自动摘要技术需要大量有标注语料进行模型训练,而在一个文本领域中训练好的模型直接应用于新的文本领域时效果很差。而要使模型在新的文本领域取得良好效果,需要依赖新文本领域中大量有标注语料重新训练。本文的工作在于设计一种低语料依赖的文本自动摘要模型及相应训练方法,降低将模型应用到新文本领域时对数据集的依赖,提高文本自动摘要模型的在小数据集上训练的性能。本文设计了基于门控循环单元神经网络的GRUseq2seq编码器-解码器自动摘要优化模型,并结合了指针机制与覆盖机制对模型进行了优化。本文使用门控循环单元替代seq2seq编码器-解码器中常用的循环神经网络单元或长短时记忆网络单元,在保证框架的编码解码能力的同时显著减少了网络需要训练的参数量,节省了计算资源。本文针对在生成式摘要中经常产生的超出词表问题和重复生成问题,借鉴使用了机器翻译领域中提出的指针机制和覆盖机制减少了超出词表和重复生成问题的产生,使模型生成自动摘要的质量达到了先进水平。本文使用迁移学习中基于模型的迁移学习方法进行改良,针对包含注意力的GRUseq2seq编码器-解码器自动摘要模型的特点采用了差异性微调?倾斜三角学习率?连接池化?逐层解冻等方法,应用于预训练模型在缺乏标注语料领域上的训练,使得自动摘要模型在缺乏领域标注语料的情况下也能获得较高质量的摘要,有效降低了训练文本自动摘要模型对标注数据的依赖量,提高了文本自动摘要模型的在缺乏大量标注数据的情况下完成摘要任务的能力。
其他文献
在磁随机存储、纳米振荡器以及自旋逻辑器件领域实现快速低功耗控制磁矩是自旋电子学主流研究方向。电流驱动的自旋轨道矩效应作为自旋操纵磁矩的一种新的有效手段掀起了自旋
实际生活中,由于条件限制,当响应变量大于或小于某一阈值时,往往观测不到响应变量的真实值,此时,可以用Tobit模型来分析这类数据。参数模型是研究响应变量和自变量关系的一种有效工具,且优点众多,如精度高、解释性好、预测准确,因此本文考虑参数Tobit模型的有关问题。另外,由于测量设备、测量方法等因素会导致观测值带有测量误差,所以研究协变量有测量误差的参数Tobit模型是有意义的。回归模型的参数估计在
在现代通信中,语音会不可避免的收到外界环境干扰,这些干扰和干净语音在时域和频域上相互叠加,会造成通信质量下降,语音增强就是为了把收到干扰后形成的带噪语音尽可能还原为
在大数据时代,为了保证海量数据访问的安全性和便捷性,越来越多的人选择将个人有价值的数据存储在云端。然而,目前的云端服务往往由单一服务商维护,存在中心化服务器一旦被攻
对于铁磁金属的磁电阻,传统认为它来自于磁化强度M方向和外加磁场H两方面的贡献,由于M的方向与H有关,所以研究它们各自的影响是一个尚未解决的问题。通常,饱和磁化下多晶材料
行政诉讼原告资格是行政诉讼制度的基础,当下新《行政诉讼法》以“利害关系”作为界定原告资格有无的核心要件,但是针对“利害关系”定义,以及认定“利害关系”的途径并未明确规定,因而理论界与实务界并未就此形成统一共识。同时,源流于德国的保护规范理论,为我国判断原告资格实务运转增添了一种全新的模式。在本土化的尝试上,虽然有“刘广明案”为先导并在2018年奠定了规范基础,但作为“舶来品”的保护规范理论由于根植
行人再识别是指对不同摄像机视角下的同一行人进行识别匹配的研究。该技术主要应用于智能视频监控系统中,在计算机视觉领域中具有重要的学术意义和应用价值。由于近年来大数
近年来随着大数据、物联网等信息技术的快速发展,数据逐渐成为企业发展所必需的重要资源,但由于企业所拥有的数据资源有限,且获取成本过高,导致其发展受到严重制约。为解决企
随着人工智能时代的来临,深度学习技术获得了广泛关注,并且近年来深度学习在全球各类目标检测赛事领域大放异彩,尤其在目标检测、识别领域已经广泛应用。但在实际工业环境下,
背景与目的Gpc3基因可以结构性及功能性的调节细胞的增殖、分化及基因表达。目前的研究发现其在颅骨成骨及颅缝闭合过程中有着相当重要的作用。本次研究旨在GPC3基因在颅缝组