基于深度学习的交互式问答技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:huangwj03
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网的日益普及和移动智能终端的迅猛发展,智能交互系统已在日常生活工作领域中得到了广泛应用,如在线客服和金融咨询等。作为智能交互系统中的一种重要存在形式,交互式问答通过自然连续的人机对话交互实现用户信息的自动反馈,而其中的关键研究问题在于如何学习和表示上下文关联的自然语句,以及如何自动解析交互场景中复杂抽象的上下文语句关系。近年来,深度神经网络在语音识别、图像分类和机器翻译任务上都表现出强大的数据抽象表示能力,深度学习也成为了自然语言处理研究领域中的一种主流方法。鉴于此,本文研究基于深度学习的交互式问答技术,通过深度神经网络探讨交互式问答的上下文表示学习和语义关系建模,主要深入研究交互式问答系统框架中所涉及的关键技术问题。首先,本文针对交互式场景中的上下文关联现象,构建了面向真实环境的交互式问答知识库,为交互式问答技术研究提供了一份可靠的语料资源。本文首先收集了真实网购环境下的交互式问答语料,并分别从语境、语用和语义三个方面分析了上下文关联现象中的话题关联、用户行为依赖和上下文语义关系;然后标注了交互式问答中的语句话题、用户行为和上下文语句关系,建立了基于话题类别和用户行为类别的问答知识框架,知识库中的问答知识条目对应于基于上下文关系划分的问答语句序列。本文所构建的交互式问答语料库和知识库可用于评测交互式问答的问句解析、关联问句检索、答案选择和上下文关系结构解析等相关任务。本文通过用户意图分析任务验证了语料知识库的数据可靠性,并通过隐马尔可夫的对话建模归纳分析了交互式问答的话题关联结构和对话行为结构。其次,本文对交互式问答中的问句解析问题进行了研究,提出了基于循环神经网络的交互式上下文表示学习模型。面对交互式问答中普遍存在的语义缺省情况,本文通过自动编码-解码的无监督学习架构进行上下文表示学习的端到端建模,实现了交互式问答上下文的自动编码和解码,并结合分类器完成了基于上下文的问句解析表示。针对上下文编码,模型通过交互式语句编码机制学习上下文场景中的语言匹配模式。本文提出的模型不仅消除了对于逐步式问句解析方法中问句完整性判别、上下文抽取和问句补全等相关处理的性能依赖,而且降低了问句解析模型在有监督学习过程中对于人工先验知识的依赖。实验表明,本文提出的上下文表示学习模型具有更好的任务自适应性,对应的用户问句解析性能也优于其他对比模型。接着,本文对交互式问答中的问答匹配问题进行了研究,提出了基于循环卷积神经网络模型的上下文关联场景的答案选择方法。在交互式问答场景中,不仅存在问句与候选答案的语义匹配关系,还存在上下文关联答案之间的语义相似性或相关性。鉴于此,本文通过整合卷积神经网络和循环神经网络实现问答语义匹配与答案语义关联的联合建模,并提出了“渐进式”学习算法进行模型的优化训练,提高了模型对于答案语义关联信息的学习表示能力。本文分别在客服问答和社区问答的答案选择任务上进行了模型评测,实验表明,本文提出的循环卷积神经网络模型显著优于其他对比模型的答案判别性能,尤其是对语义相似或相关答案选项的有效区分;并验证了答案语义关联建模对于答案选择的有效性。最后,本文对交互式问答中的关系结构解析问题进行了研究,提出了基于注意力机制的交互式问答语句关系标注模型。交互式问答系统实现知识自学习的重要手段是面向交互式场景的问答知识抽取,其关键问题是如何正确解析上下文语境中的复杂语句关系。为此,本文通过基于匹配模式的注意力学习机制引导上下文语句关系的建模,实现了语句关系模式与句子语义成分的特征对齐,提高了模型对于复杂语句关系的学习表示能力。针对语句关系的上下文依赖,本文通过循环神经网络进行语句关系的上下文建模,实现了基于上下文语境的语句关系学习及标注。实验表明,本文提出的关系标注模型明显优于其他对比模型的解析性能;模型能够有效识别出交互式场景的复杂语句关系,抽取出包含完整语义关系的问答知识对,有效提高了系统的知识自学习水平。
其他文献
随着网格技术的日益发展,作为对数据应用需求的回应,在计算网格之后出现了数据网格的概念。在网格环境下如何访问已有的数据库,如何提供一个访问不同数据资源的统一接口,并且
学位
网络安全事件的不断发生使我们日益感觉到网络安全本身的重要性,而安全入侵的不断复杂化则让我们更加体会到单一的安全防护在其技术上所具有的种种缺陷,所以一个完整的安全防
作者在对国内已建成的供水管网地理信息系统的考察中发现,目前国内还没有出现应用十分成功的GIS供水管网管理系统。就供水行业的GIS的开发,从用户分析、系统设计、数据库建设到
文字识别是集模式识别、人工智能与文字处理于一体的高新技术,能自动地把文字或其他信息通过智能识别输入计算机,用以代替人工输入。文字识别不仅有广泛的应用领域,而且也促进了
学位
OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。在数据仓库应用中,OLAP应用一般是数据仓库
身份认证是安全系统中的第一道关卡,当用户访问一个系统的时候,首先要向系统表明自己的身份,然后才能进行下一步的访问和控制。单点登录是将多个不同的应用的身份认证和登录系统
嵌入式系统首先是一个实时系统,它具有实时系统的特点,即能够确定及时响应事件,系统响应外界不定事件不仅要快,而且要确定,即系统响应时间要求是确定的和可预测的。随着Inter
在研究过程中常常会遇到一些时间复杂度相当高的问题,比如说网络理论中的Mesh网络连通性问题等。这些问题很难由单个PC在较短时间内求解。而另一方面,网络上的大量计算资源被