基于神经机器阅读理解的中文文本开放域问答方法研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:daolong163
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自动问答,旨在让机器通过检索、语义分析、自然语言理解等步骤,对自然语言问题进行自动作答。其中的开放域问答,所提问题多为通用问题,回答问题所需的资源不限定领域,更符合人们的问答习惯。近年来,随着神经机器阅读理解技术的发展,机器对自然语言理解方面的进步突飞猛进。由于机器阅读理解和开放域问答存在共通性,所以可以利用神经机器阅读理解的方法解决开放域问答问题,但是由于中文文本开放域问答任务自身特性,其中又存在着困难与挑战:中文中难以避免的分词错误会造成误差传递,影响下游任务;开放域情境下,一个问题对应海量文章,如何找到与问题最相关的文章并预测答案;连续提问问题答案在开放域情境下可能出现在多篇不同的文章中,如何对连续提问的多个问题都给出正确的答案。针对上述困难与挑战,本文提出了如下方法:(1)提出了更适合中文的文本表示技术,在问题和文章表示建模过程中引入基于上下文的动态词向量,可以更为有效的编码中文长文本中上下文信息,利用上下文信息可以在一定程度上缓解中文文本开放域问答任务中错误分词对下游任务的影响。(2)在对现有神经机器阅读理解相关技术进行全面而细致的综述后,归纳了模型基本框架,梳理了常用的深度学习方法,并在此基础上提出了基于循环神经网络和自注意力的机器阅读理解模型,该模型结构更为精简,与其他神经机器阅读理解模型相比,不仅训练参数更少、训练推断所需时间少,而且答案预测准确率更高。(3)为了利用神经机器阅读理解方法解决开放域问答任务,对机器阅读理解模型进行了扩展,提出了文章筛选与答案预测相结合的方法和“多问题拆分+启发式指代消解”方法,在开放域场景中,扩展后的模型不仅能高效召回与问题最为相关的文章并从中抽取出问题答案,还能对连续提问中的多个问题都给出高质量回答。
其他文献
作为一项典型的计算机视觉任务,人群计数的目标是精准高效地统计视频或图片等载体中所含有的总人数。目前,人群计数任务已在公共安全领域的诸多方面得到大力推广和积极应用,越来越多的学者开始将其作为研究课题进行专项讨论。基于采取的方法或者手段,可将人群计数大体划分为两种:一种是基于回归的人群计数,它主要通过创建的回归模型进行人数统计;另一种则是基于检测的人群计数,它依托成熟的目标检测技术对特定场合中包含的人
随着倾斜摄影测量技术、无人机技术和三维重建技术的快速发展,大范围场景下倾斜摄影测量数据的生产速度有了大幅提升。处于信息化时代的人们,也越来越希望能够通过多种多样的科学技术手段了解自己所处的环境,二维影像所提供的信息已经远远不能满足人们的需求,面向三维可视化的需求越来越多。虽然面向三维web可视化的研究有了诸多进展,但是大范围场景下倾斜摄影测量数据的可视化仍存在诸多问题。例如,分层级数据加载过程中,
近年来,随着开源生态的迅速发展,积累了大量的开源软件资源。在这些数目庞大的软件资源中,不乏质量很高的代码片段,以及其衍生品,如代码摘要、文档等。这些高质量的资源具有丰富的价值。然而在海量的开源资源中,如何挖掘出这些高质量的开源资源,使其能够复用于未来的软件工程之中,仍然面临着许多挑战。本文认为面对大数据背景下的开源资源,需要从两个方面进行着手:理解代码与定位代码。因此,本文提出了进行了如下研究:1
模糊测试是一种常用于软件测试中的技术,其中,灰盒模糊测试技术因为具有覆盖率信息反馈以及快速生成用例的特点而应用广泛,但是它需要大量时间去产生测试用例覆盖程序,所以测试效率仍较为低下。现如今计算资源规模庞大,利用分布式计算资源可以加速灰盒模糊测试过程,这个方法区别于传统改进算法,并与其他方法可以相互增益。本文针对大规模分布式并行的持续性模糊测试技术展开了研究。第一,本文采用了以数据库为中心的架构用来
伴随着开源理念的赓续提高,开源社区的发展日新月异,孕育了海量的开源软件,软件资源高度分散而且良莠不齐,难以用传统单一、封闭的方式对开源软件进行评估进而检索优质软件。因此,提出一种新的开源软件排序算法是非常有意义的。本文提出了一种对软件进行综合评估的新方法,从客观和主观两个层面来综合评估软件。客观上采用文本匹配及基于隐式的结合方法,建立开源软件在软件主体社区及软件衍生社区的关联,进而量化软件在软件衍
自然语言理解是任务型人机对话系统中的基础性研究工作,对于给定用户输入,旨在把自然语言转换成计算机能够理解的结构化语义表示。自然语言理解由意图识别和槽填充组成,其中意图识别完成对用户意图的判断,槽填充完成对用户输入实体的抽取,通常使用多任务学习来同时完成两个任务,相关技术目前成为学术界研究的焦点。本文基于深度神经网络模型,对自然语言理解任务进行了研究,研究内容包含两方面:首先,自然语言理解模型通过使
近年来,开源生态与开源软件发展十分迅猛,越来越多的开发者都参与到开源软件的开发中。在开源生态社区中开发者可以自由自在地同时进行多个任务,通过互联网环境实现交互和协同。例如在Git Hub社区中开发者可以同时关注讨论多个开发任务,或者同时审阅讨论多个代码贡献。大规模群体的积极参与和多任务协同是开源生态持续成长的关键因素和重要驱动力。探索多任务协同对开发者工作效率的影响是十分有意义的研究,可以指导开发
近些年,在公共场合的视频监控设备数量飞速增长,例如机场、地铁和商场等。然而,仅依靠人类的视觉来查阅海量的视频数据有很大的困难。采用一些智能的方法让计算机来处理、分析,以挖掘视频中的信息具有很大的学术和商业价值。在本课题中,我们聚焦于计算机视觉中的行人轨迹预测和多相机下行人跟踪问题,展开相关的研究与技术实现。多相机多行人跟踪的目标是确定每时每刻每个对象的位置。行人轨迹预测是基于行人的历史观测数据对行
熔石英作为高功率激光装置的重要部件之一,其抗损伤阈值直接限制着激光器的功率水平。熔石英的激光损伤过程主要包括微米级颗粒喷溅和高速冲击波形成,这些过程具有高速、小尺寸和长持续时间等特点,造成实验观测上的困难。论文开展熔石英损伤过程中喷溅粒子及冲击波的成像探测及动力学参数自动获取算法研究,完成的主要研究工作和成果如下:1.提出了双帧激光阴影成像系统的设计方案,搭建了熔石英后表面损伤的原位双帧激光阴影成
目前,无人机已经广泛应用于军事、商业和农业等多个领域,而相对于单个无人机,无人机集群具有效率高、容错性好等诸多优势,将是未来军事以及民用方面不可或缺的一部分。然而对于大规模无人机集群的控制问题,目前的控制模型都具有各自的不足,需要面向任务具体建模。此外,有效地评估无人机集群性能也很有意义,但无人机集群涉及多种复杂性科学,对其进行试验非常困难。本文针对自组织无人机集群建模及特性进行了以下探索。(1)