基于深度学习的混合式文本摘要生成技术研究

来源 :广东技术师范大学 | 被引量 : 0次 | 上传用户:ypengw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在互联网技术高速快速发展的情况下,文本数据量也高速地增长着。大量的文本数据涌现导致人类和计算机都难以快速地获取并处理文本中的主要信息。因此,如何通过数学理论以及技术手段快速且有效地从海量的文本信息中提炼出核心内容,并将核心内容提炼成高质量的摘要,已经成为一个亟待解决的问题。本文以文本摘要生成任务作为主要研究对象,试图挖掘一种能生成更高质量摘要的技术方法。近年来,各种摘要生成技术越来越成熟,摘要生成的质量也越来越好。但是,各种摘要生成技术仍然存在许多不足。具体而言,抽取式摘要生成技术过粗的处理粒度会导致摘要结果中存在冗余文本,文本单元之间连贯性上也无法得到很好的保证。生成式技术的语义且往往需要利用大量训练数据进行模型训练,因此训练数据的质量很大程度影响了模型性能的峰值。而混合式技术生成技术过于复杂或较多人为干预的方法,难以应对于大数据量的场景或需要快速响应的在线场景。针对以上问题,本文提出了一种混合式文本摘要生成技术,主要从语言模型和摘要生成技术两个方面做出了如下工作:1.提出了一种混合粒度语言模型的方法。这种混合粒度语言模型的设计思路从三种不同粒度(词语,句子,篇章)的角度出发,以BERT以及图注意力网络(GAT)为基础,着力于捕获三种粒度的潜在特征并使之融合,以辅助后续摘要任务。2.提出了一种混合式摘要生成技术的方法。这种混合式摘要技术结合了抽取式技术的特点和生成式技术的特点,利用抽取式技术进行的初步句子抽取以保证摘要的核心内容覆盖度,并在两个公开的数据集上都获得了较高的ROUGE-1指标得分(45分以上)。同时,充分利用抽取式技术的结果进行后续生成式技术的改写和编码器预训练,以提高摘要的流畅性,并在两个公开数据集上都获得了较高的ROUGE-L得分(40分以上)。3.提出了一种基于语义的对比学习任务方法。这一对比学习任务的设计思路从混合粒度语言模型的角度出发结合对比学习的思路,以“拉近语义,疏远冗余”为方针对语言模型进行对比学习训练,以提高生成摘要的质量,提高冗余度指标得分。
其他文献
近50年来,农业系统由于大量的使用无机肥料和化学物质造成土壤肥力匮乏,严重制约了农业的可持续发展;此外,这些化肥对环境、人口和作物生产有严重的负面影响。因此,采取环境友好型种植措施,减少化肥投入,保持高产,对确保未来农业可持续发展至关重要。前人的研究提出了各种化肥管理策略,如缓释肥料、最佳化肥水平和侧深施肥等;然而,这些管理措施对土壤特性与培地力作用较小。相比之下,采用作物轮作以及生物炭与化肥的结
学位
本文主要探讨数字化的塑形语言在动漫雕塑制作中的应用。意图通过总结数字化手段的制作优势,对数字化制作动漫雕塑的方法、语言进行归纳,提升原型制作环节在整个动漫雕塑创作过程中的表现空间。对数字化制作所使用的塑形语言进行分析和研究,指出数字化制作目前存在的问题及其解决办法,最后结合实际应用完成本文。希望能在研究、解决这些问题的同时,通过总结数字技术、数字语言在动漫雕塑中应用,完善并发展动漫雕塑的理论、丰富
学位
在自然界中,植物的整个生命周期往往伴随着各种昆虫的侵袭。然而植食性昆虫不仅在诱导植物抗性防御能力上存在差异,而且对植物抗性防御的耐受能力上也存在差异性。因此,不同昆虫诱导植物的抗性防御和自身防御能力的差异性可能对同寄主植物上低耐受力昆虫产生致命伤害。而棉铃虫(H.armigera)和棉蚜(A.gossypiis)作为棉花植株上两种重要的农业害虫,其生态位存在部分重叠现象。而目前对同寄主植物上两种生
学位
卵母细胞生长发育紊乱导致的减数分裂受阻或染色体异常分离会影响受精和胚胎发育,甚至造成流产和胎儿畸形。然而,卵母细胞的发育受到内源性减数分裂复杂调控和颗粒细胞在内的外源性因素的多重影响,因此在分子水平揭示内源性和外源性因素的卵子发育调控机制对于改善家畜繁育和提高其繁殖力具有重要意义。小头畸形(microcephaly,MCPH)家族蛋白在有丝分裂和减数分裂中发挥着重要作用,其中WDR62(WD40-
学位
新中国成立以来,我国工业飞速发展。但是在这发展的背后,一定程度上牺牲了资源和环境。因此,在生态文明建设的背景下,提升工业绿色全要素生产率是很有必要的。重庆市作为中西部唯一的直辖市,工业是它的支柱产业,故重庆市需要主动探寻提升工业绿色全要素生产率(Green Total Factor Productivity,GTFP)的新路子。论文以提升重庆市工业GTFP为主要研究目标。首先,对全要素生产率(To
学位
教师话语是教师在课堂上用来组织和实施教学的语言,它不仅是教师用以组织课堂的工具,还是学生语言输入的重要来源。教师话语的质量直接影响课堂教学的效果和学生的二语习得,因此,探究初中优秀英语教师的课堂话语具有重要意义,也能为新手教师提高课堂话语提供经验参考和教学启发。调查发现,国内外针对教师话语、评价理论已有大量研究,尤其是在教师话语的模式、特征、功能等方面的研究,但很少涉及教师话语的人际意义和情感因素
学位
水稻作为世界上主要的粮食作物之一,其种植和生产受到干旱、高温、冷害等非生物逆境的严重影响,而且人口持续增长和人类活动造成的环境破坏使得粮食安全的问题更加严峻。因此,挖掘抗逆相关基因、解析其遗传变异并应用于水稻抗逆性的遗传改良是十分必要的。本室已毕业郭子龙博士对533份水稻种质资源进行干旱试验得到的相关图像性状和传统抗旱性性状的全基因组关联分析鉴定到了34个关联位点。本研究在此基础上,结合转录组、基
学位
芳香化酶由CYP19A1基因编码,是促使雄激素转化为雌激素的关键限速酶。雌激素最早被认为是女性性激素,近些年被证明在雄性生理及繁殖中有着重要的作用,目前芳香化酶和雌激素对鸡精液品质和繁殖性能方面的研究尚未深入开展。鸡芳香化酶的表达调控机制与哺乳动物不同,本研究首先聚焦于芳香化酶的转录调控,拟解决CYP19A1表达受哪些转录因子调控,为后续定点调控CYP19A1表达提供理论基础;在此基础上在鸡睾丸中
学位
副猪革拉瑟氏菌(Glaesserella parasuis,GPS)属于巴氏杆菌科,是一种寄生于猪上呼吸道的胞外共生细菌,也是健康猪正常微生物群的一部分。在猪机体免疫力下降或者应激条件下,GPS可引起猪的革拉瑟氏(Gl(?)sser)病,其特征是纤维素性肺炎、关节炎及脑膜炎。由GPS侵染而引起仔猪的革拉瑟氏病会对养猪业带来巨大损失,同时因为GPS的致病性尚不完全明确,对它的有效防治与管理依然是一个
学位
“器官投影说”是基于技术发展的产物,将其应用于当代艺术的创作之中。通过交融、延伸、隐喻等方法,极大丰富了艺术的表达形式,提供更加多样的方式和途径。在以人工智能时代为背景下,分析艺术与技术在发展中的关系,为其艺术发展表现出极大的创造力,并为他的艺术创作者提供了创作灵感。本文分为五部分,第一部分是关于“器官”概念的内涵界定,分为两个部分,“器官投影说”理论的历史背景和思想来源与生理器官、“器官”与意识
学位