面向问答时序数据理解的时序交互学习算法研究与应用

来源 :浙江大学 | 被引量 : 0次 | 上传用户:mohuan88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的快速发展,互联网积累了海量的时序数据,如问答数据、社交网络数据和电商交易数据等。如何对这些时序数据中内隐因素之间的交互进行建模,理解个体用户或群体用户在时序数据中所蕴含的意图和行为,是当前人工智能领域研究的热点和难点。本文以问答系统中时序数据理解为研究对象,提出了若干算法模型并进行验证。
  一般而言,问答时序数据中丰富的内隐交互信息可以分为结构时序交互和语义时序交互。结构时序交互表示文本中单词与单词、句子与句子因存在相对位置关系而产生的相互影响(如常见的n.gram语言模型等),语义时序交互则更多地体现了文本上下文中所包含内容之间的相互影响(如问答中后序答案会受到前序已有答案和问题本身的影响等)。近年来,循环神经网络模型被广泛应用于时序数据处理,取得了较好效果。这类方法通过“编码.解码”架构先对输入端时序序列数据进行编码,将其映射到隐式空间,然后再进行后续的分类、回归等任务。但是,在循环神经网络方法中融入如前所述的结构时序交互和语义时序交互仍然面临挑战。
  具体而言,在问答研究领域中,将循环神经网络应用于分析和处理问答时序数据,面临如下两个方面的挑战:(1)辅助信息支持下的问答时序信息理解。在问答时序数据理解过程中,可利用问答数据之外的辅助性信息,如不同问答场景下已存在的额外信息、问答者的角色特点、问答内容所涉及的客观知识等。利用这些辅助性信息,将可以帮助理解问答时序数据;(2)问答时序信息之间的复杂交互。在问答时序数据中,通常问题与问题、问题与答案、以及答案与答案之问有着丰富的时序交互,比如问题本身影响着答案的内容,前序答案会影响后序答案的形成等。这些时序交互随着时间的推移变得愈发复杂。因此,对问答时序数据中所包含的交互关系进行建模,能够帮助更全面地理解问答时序数据。
  为了克服上述难点,本文对问答时序数据学习进行了深入研究,从时序交互建模、额外信息支持、外部知识增强、问答角色刻画等方面,解决传统时序模型难以在问答场景中构建问答时序交互问题,提升模型对问答时序数据的理解,并运用到实际应用中,在不同问答任务中提升模型的预测能力。具体而言,本文的工作主要有如下几个方面:
  提出一种数据驱动的问答时序交互学习方法。该方法将注意力机制与循环神经网络相结合,对大量给定问答时序数据进行学习。该方法利用注意力机制,对问答过程中问题与答案、答案与答案之间时序交互的强弱进行建模。该方法成功应用在答案质量评价任务中,通过实验对比证明了问答场景下时序交互建模的有效性。
  提出一种额外信息支持的问答时序交互学习方法。不同于传统的基于循环神经网络的时序模型,该方法利用记忆网络的结构特性,构建拥有更强记忆与联想能力的深度时序记忆网络。该方法根据用户的历史提问构建问答场景下的额外信息,识别用户问题所涉及领域,并使用记忆网络存储额外信息,帮助更好地理解问题意图。同时该模型的循环结构可以对问题与类别标签、多个类别标签之间的时序交互进行建模。该方法被应用在问题多标签推荐任务中,基于更强的记忆与联想能力,该方法取得了很好的效果。
  提出一种结合知识记忆体的问答时序交互学习方法。该方法利用知识增强的方式提升问答的准确性,利用记忆网络对问题所涉及外部知识进行挑选、存储和分析,形成知识记忆体,同时结合注意力机制与循环神经网络对时序问题的特征编码,帮助理解问题中的潜在时序信息,并更加全面地对问题中时序信息的交互进行建模。该方法被应用在事实问答任务中,实验证明了知识记忆体能够帮助更好地学习时序问题之间的时序信息及其时序交互。
  提出一种知识增强的多角色问答时序交互学习方法。该方法通过刻画问答对话中的不同角色,学习角色的主观特点。同时利用层级循环神经网络对问答对话内容进行编码,逐层捕捉对话中的时序信息。除此之外,该方法使用注意力机制,为问答对话中,问题与问题、问题与答案以及答案与答案之间的时序交互进行建模。在上述的每一个环节中,该方法使用了外部知识用于增强模型的理解与联想能力。该方法被应用在司法领域的问答对话摘要生成任务中,实验结果证明了该方法能够有效地学习问答时序数据的时序交互。
其他文献
聚合博弈是成本仅依赖于其自身策略和关于所有个体的聚合策略的一类重要博弈.其在自然科学、经济学和工程科学等领域中广泛应用.特别的,在工程科学中,无线通信、交通系统、智能电网等方向的聚合博弈问题得到了越来越多富有成效的研究.博弈理论的关键是纳什均衡问题的研究.因此,求解纳什均衡的算法受到了广泛关注.近年来,随着大规模通信网络和分布式技术的发展,很多研究学者致力于分布式纳什均衡算法的研究.相比于传统的集
学位
观察数据中发现变量之间的因果关系,解释事件是如何发生以及预测其未来发展趋势,几乎在所有学科中都有研究和应用。例如医学、生物学、经济学、物理学、社会科学等领域均把因果关系作为解释、预测和决策的基础。信息科学领域,可以使用贝叶斯网络中的马尔科夫毯(边)来表示真实世界中的因果关系。近年来,有学者采用基于回归正则化模型马尔科夫边的发现方法从观测数据中研究事件之间的因果相关性,并从理论上揭示了基于回归正则化
在单机数据上训练的深度学习机制,受限于数据量和算力容易出现过拟合以及较低的可用性等问题。为了解决这个问题,采用中心化的训练架构,聚合多个参与方的数据来训练一个全局模型是普遍采用的模式。或者采用分布式的训练模式,基于中心化服务器聚合各个参与方的模型梯度更新,但这两种中心化的架构始终存在单点故障的可能。此外,当前深度学习系统对于数据隐私和模型隐私的关注不够,限制了深度学习在诸如医疗、金融等敏感数据上的
学位
图被广泛地应用于各个领域中,例如交通路网、电子通信网络、社交网络、生物信息网络以及协作网络等。图结构中,边表示顶点之间的关系。图上有许多特制的算法,图查询研究一直受到学术界与工业界的广泛关注。随着信息化时代的到来,各种信息以爆炸模式增长,导致图的规模日益增大。如此大规模的数据量,给图查询处理带来了极大的机遇与挑战。  目前已有的大量图查询算法大多是集中式算法,但随着图数据的指数型增长,传统的索引与
学位
随着计算机处理能力的增强,个人手持设备的普及,将三维城市模型服务推广到普通用户中在技术上变得逐渐可行,人们对基于三维城市模型信息服务的需求也越发旺盛。在游戏及VR等应用场景中,为了提升玩家用户的沉浸感,常常需要将指定的城市模型接入到应用中。因此,在保持原始扫描获得数据的语义信息和视觉效果下,应尽量提高其存储和处理效率。所以需要对原始数据进行一定的预处理,在提取其语义信息后对模型进行适当的简化。  
电网中的异常检测指电网在未受到攻击的情况下,由于个别或部分元件发生故障,导致网内其他设备表现出偏离平衡状态的情况。严重的电网异常容易引发大规模停电事故,从而造成巨大的经济损失。因此,分析人员需要快速、准确的检测电网异常,以此为基础做进一步的故障原因诊断、影响分析,并采取对应的修复措施。已有的电网异常检测工作多基于聚类、分类等自动化方法,然而随着检测准确率的不断提高,误报与漏报率仍居高不下。传统的漏
学位
光谱图像是一种通过捕获数个频率范围的电磁波进行成像得到的图像。光谱图像除仅有一个波段的单色图像外,还有包含三个到数十个波段、光谱分辨率较低的多光谱图像,与光谱分辨率在10nm范围内、常有数十至数百个波段的高光谱图像,这种含有丰富光谱信息的图像在科学研究种具有重要的作用。然而,由于超越可见光波长范围的波段无法被人类直接观察、且大量的波段数据本身也加重了计算负担,光谱图像的可视化与降维融合成为了十分重
随着科学技术的发展,每个人的生活都离不开各式各样的互联网服务。但是,互联网的服务系统却面临着信息爆炸带来的信息过载挑战。个性化推荐系统则是解决这一问题的核心方法。  现阶段面向大规模互联网服务系统中的个性化推荐主要面临着以下三大块棘手的问题:海量移动用户访问日志难以识别;项目受短期热点的影响激增;不同的协同过滤推荐应用很难利用同一个算法来提升效果。  第一个问题,是来源于用户层面的挑战。数据的获取
在信息化的时代,人们获取大量数据,从中提取关键信息,并据此做出决策。各个领域的从业者,包括科学家、分析师、记者、设计师,乃至普通大众,均意识到数据和数据分析的重要性。其间,数据可视化和可视分析作为发掘数据中有效信息、传达见解和交流与协作的高效工具被广泛运用于商业智能、城市规划、新闻传播等。  伴随着互联网、传感器、物联网等技术的不断发展,人们获取信息的能力和分析数据的需求不断增长。这样的趋势对于可
手势交互可以通过多种交互设备进行,如深度相机、彩色相机、数据手套、表面肌电电极等。基于表面肌电的手势交互凭借其易穿戴、对光照环境的鲁棒性以及对残疾用户运动意图较强的识别力等优点,成为人机交互领域的新型研究热点之一。  在基于表面肌电的手势交互中,其核心问题是如何准确地对肌电信号建模并识别出用户输入信号中所表达的含义。研究者们已基于经典机器学习和深度学习的框架对表面肌电手势识别进行深入研究,但依然存