基于序列到序列的问题及干扰项生成方法研究

来源 :西南大学 | 被引量 : 0次 | 上传用户:haiyang1979
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网大数据和信息技术的飞速发展,各类社交平台相继兴起,随之而来的是海量的数据,其中大部分是文本数据,而如何从文本中提取出有价值的部分,则正是自然语言处理的研究内容。在这些文本数据中,又以陈述句居多,如何针对这些句子,提出合理的问题,正是问题生成所要解决的。如今的在线教育行业正向以人工智能、大数据为基础的智慧教育发展,在这其中,需要为学生提供更多针对性的评估方法,这些往往都是以提问的方式出现。然而对于教育工作者来说人工创建问题是一项非常耗时耗力的工作。因此,如何利用背景知识,对关键点自动进行问题生成是一项非常重要的课题。由于人类问题的多样性和创造性,传统的基于规则改写的方法是无法有效完成问题生成任务的。近年来,随着序列到序列的模型被引入到问题生成中,使得问题生成任务得到巨大的性能提升。而作为问题生成的衍生任务,干扰项生成也逐渐获得了更多研究者的关注。从传统的通过相似词替换或筛选方法到神经网络的应用,生成的干扰项也能够具备更好的语义丰富性和多样性。本文对基于序列到序列的问题生成方法进行研究,主要的工作内容和贡献可以总结为以下几点:1)本文提出一种主题信息增强的多头双向注意力干扰项生成模型(TMCA)。主题信息作为一种高层次的语义集群,能够更好的建模对象之间的关系。针对以往研究中只使用词级别或句子级别信息,本文提出将主题信息融入到模型中,使得模型能够更好的获取句子与句子之间的相互关系。其次,使用多头的双向注意力机制,对阅读理解背景下,捕捉文章中的句子与问题之间的注意力,从而在解码阶段调整生成的项与问题之间的关系。最后,干扰项生成的难点主要在于干扰项的定义,它是一个错误选项,但需要与问题相匹配才会有意义。针对这个问题,本文提出静态注意力和查询相关性损失,目的是要增强生成的项与问题之间的语义相关性,同时抑制它与正确答案之间的语义相关性,尽可能的使得生成的干扰项能够在语义上贴近相应问题,又能确保它是一个非正确的选项。2)本文提出一种问题-干扰联合生成框架(QDG)。该框架在给定的背景文章和指定的答案后,能够自动同时生成问题和干扰项,使之组成完整的多项选择阅读理解题目,能够更好的应用在教育工作者的工作中。在以往的研究中,虽然有独立的问题生成和干扰项生成研究,但联合的问题-干扰项生成研究却极少。过去,只能先通过生成问题,然后再通过传统的对答案进行相似词排序筛选的方式构建干扰项,无法做到端到端的统一联合生成方式生成问题-干扰项对。本文在干扰项生成的工作基础上,首次提出端到端的联合生成框架。本文发现干扰项作为错误选项也与背景文章中的某些部分相关,通过抑制相关部分,从而使得生成的问题能够更聚焦到正确答案相关部分上。除此之外,通过生成的问题再指导干扰项的生成,进行迭代生成,能够有效地提高两个任务的性能和效果。3)为了验证TMCA和QDG的有效性,本文通过与相关基线模型在真实数据集上的表现进行对比,实验结果表明了本文提出的两项工作的有效性。由于目前的自动评价指标仅能对生成项与给定的目标句子进行比对分析,尚未有更好的指标适合评估生成项的多样性和有效性。因此,本文在自动评估的基础上,进一步使用人工评估的方式,验证生成的项在多样性和有效性上的表现。综上所述,本文针对基于序列到序列的问题及干扰项生成方法进行研究,其中包含问题生成和子任务干扰项生成。同时,我们进行了多组对照实验,实验结果体现出本文提出的模型的有效性和可行性。
其他文献
金属在强动载荷下的损伤演化动力学问题备受军工航天、重型机械等工程技术领域的关注。材料的动态损伤行为涉及从微观到宏观的跨尺度过程,持续时间极短,包含弹塑性变形、相变、冲击波传播以及微孔洞演化等非线性作用。澄清影响损伤演化历程的微介观因素及规律,对深刻理解材料动态损伤至关重要。因此,有必要开展金属动态损伤行为及关键物理机理的科学研究,为涉及材料动态破坏问题的材料及结构的工程应用提供理论基础和技术储备。
学位
当前,部分国有企业人力资源管理和激励机制仍面临一些问题和挑战,需要及时采取有效策略以优化国有企业的人力资源激励机制。本文首先对国有企业激励机制概述,包括定义、类型、实施的必要性。笔者分析发现,国有企业激励机制存在着一些显著的问题,包括缺乏公正、公平的薪酬激励,过度依赖物质激励,缺乏长期的职业发展和学习机会,员工参与度低以及工作环境和企业文化不佳等。然后针对这些问题,提出了一系列激励策略,旨在优化国
期刊
复杂网络是由大量节点和节点之间错综复杂的关系共同构成的网络,其具有自组织、自相似、吸引子、小世界、无标度中部分或全部的性质。在复杂网络中,与大多数其他节点相比,一些具有高度影响力的特殊节点在网络的结构和功能中起着举足轻重的作用。因此,在网络中寻找重要节点的研究应运而生。基于上述背景,本研究分别从寻找单个核心领导者和寻找一组关键传播者的视角出发,建立了节点重要性评估和免疫策略之间的关系,探讨了两个方
学位
磨损与腐蚀是机械零部件最常见的表面失效形式,是表面工程技术领域最值得关注的研究对象。由磨损与腐蚀导致机械零件的损坏严重影响机械设备整体的使用寿命,造成了极大的经济损失。表面失效与材料的表面特性密切相关,因此,表面改性是提高工程构件使用寿命和安全可靠性的有效途径。如今,表面硬化、热处理、表面涂层等多种工艺被用来改善材料表面性能。由于可以提供更好的外观和卓越的性能,表面涂层已经被广泛接受并成为重要的改
学位
众包技术是伴随着互联网的普及而出现的新型工作模式,即外包工作给互联网工人。随着机器学习技术的发展,标注数据集的缺乏日益成为性能瓶颈。传统的专家标注数据方式耗时费力,众包以其廉价、快速的特点成为标注海量数据集几乎唯一可行的方法。然而由于众包工人和任务的缺陷,结果中往往带有噪声,如何从嘈杂的众包结果中挖掘出高质量的数据成为研究热点。目前的众包研究主要关注质量控制和成本控制问题,而完善的工人与任务模型是
学位
<正>尽管当下的小学数学教学制度已经完善,但是随着对教学要求的不断提高,当下对小学数学教育也提出更高的要求。随着科学技术融入小学数学教学课堂,演变出的教学方法层出不穷,其中情景教育对小学数学课堂有更好的促进作用。为了进一步提高小学数学课堂教学效果,本文将对目前情景教学存在的问题进行挖掘,通过分析情景教学的特点和作用,探讨如何在科技发展环境下开展小学数学教学与情景教育的融合。
期刊
<正>党的二十大报告擘画了以中国式现代化全面推进中华民族伟大复兴的宏伟蓝图,是新时代全面建设社会主义现代化国家的理论指南和行动纲领。税收事业是党和国家事业的重要组成部分,税收现代化是中国式现代化的重要内容。全国税务系统深入学习宣传贯彻党的二十大精神,将税收现代化置于中国式现代化的理论和实践发展中进行认真思考、积极研究、建言献策,主动探索如何更好发挥税收职能作用服务中国式现代化。
期刊
小学语文教学应与学生的生活相联系旨在开扩学生的视野,提高学习语文的兴趣。本文将分析生活对语文教学的意义并探讨如何实现小学语文教学的生活化以此提高语文教学的教学质量。
期刊
已有文献较少从创新效率的无效性角度关注创新激励政策的作用。随着国家创新激励政策实施力度不断加大,强化政策实施精准性与有效性已成为提高企业创新系统整体效能的重要支点。基于中国A股上市公司面板数据,运用DEA两阶段模型从企业创新无效性的视角剖析典型创新激励政策——高新技术企业优惠税率政策对处于不同生命周期阶段的企业创新无效性的影响与作用机制。分组描述性统计结果显示,成熟期企业所受税收优惠、企业规模和员
期刊
随着网络与人们生活越来越紧密的结合,每个人都成为互联网上信息的生产者,每天有海量的数据在产生,信息检索成为了一个十分重要的课题,人们对于信息检索的需求也不再是单纯的用关键字查找相关文本,而是文本、图片、音频、视频等各种模态的数据互相检索查询,因此跨模态检索成为了信息检索方法研究的热点。跨模态哈希方法由于其额外空间占用低、检索速度快的特点成为了跨模态检索问题的一个优秀解决方案,因此受到越来越多的研究
学位