论文部分内容阅读
随着计算机技术的快速发展,互联网积累了海量的时序数据,如问答数据、社交网络数据和电商交易数据等。如何对这些时序数据中内隐因素之间的交互进行建模,理解个体用户或群体用户在时序数据中所蕴含的意图和行为,是当前人工智能领域研究的热点和难点。本文以问答系统中时序数据理解为研究对象,提出了若干算法模型并进行验证。
一般而言,问答时序数据中丰富的内隐交互信息可以分为结构时序交互和语义时序交互。结构时序交互表示文本中单词与单词、句子与句子因存在相对位置关系而产生的相互影响(如常见的n.gram语言模型等),语义时序交互则更多地体现了文本上下文中所包含内容之间的相互影响(如问答中后序答案会受到前序已有答案和问题本身的影响等)。近年来,循环神经网络模型被广泛应用于时序数据处理,取得了较好效果。这类方法通过“编码.解码”架构先对输入端时序序列数据进行编码,将其映射到隐式空间,然后再进行后续的分类、回归等任务。但是,在循环神经网络方法中融入如前所述的结构时序交互和语义时序交互仍然面临挑战。
具体而言,在问答研究领域中,将循环神经网络应用于分析和处理问答时序数据,面临如下两个方面的挑战:(1)辅助信息支持下的问答时序信息理解。在问答时序数据理解过程中,可利用问答数据之外的辅助性信息,如不同问答场景下已存在的额外信息、问答者的角色特点、问答内容所涉及的客观知识等。利用这些辅助性信息,将可以帮助理解问答时序数据;(2)问答时序信息之间的复杂交互。在问答时序数据中,通常问题与问题、问题与答案、以及答案与答案之问有着丰富的时序交互,比如问题本身影响着答案的内容,前序答案会影响后序答案的形成等。这些时序交互随着时间的推移变得愈发复杂。因此,对问答时序数据中所包含的交互关系进行建模,能够帮助更全面地理解问答时序数据。
为了克服上述难点,本文对问答时序数据学习进行了深入研究,从时序交互建模、额外信息支持、外部知识增强、问答角色刻画等方面,解决传统时序模型难以在问答场景中构建问答时序交互问题,提升模型对问答时序数据的理解,并运用到实际应用中,在不同问答任务中提升模型的预测能力。具体而言,本文的工作主要有如下几个方面:
提出一种数据驱动的问答时序交互学习方法。该方法将注意力机制与循环神经网络相结合,对大量给定问答时序数据进行学习。该方法利用注意力机制,对问答过程中问题与答案、答案与答案之间时序交互的强弱进行建模。该方法成功应用在答案质量评价任务中,通过实验对比证明了问答场景下时序交互建模的有效性。
提出一种额外信息支持的问答时序交互学习方法。不同于传统的基于循环神经网络的时序模型,该方法利用记忆网络的结构特性,构建拥有更强记忆与联想能力的深度时序记忆网络。该方法根据用户的历史提问构建问答场景下的额外信息,识别用户问题所涉及领域,并使用记忆网络存储额外信息,帮助更好地理解问题意图。同时该模型的循环结构可以对问题与类别标签、多个类别标签之间的时序交互进行建模。该方法被应用在问题多标签推荐任务中,基于更强的记忆与联想能力,该方法取得了很好的效果。
提出一种结合知识记忆体的问答时序交互学习方法。该方法利用知识增强的方式提升问答的准确性,利用记忆网络对问题所涉及外部知识进行挑选、存储和分析,形成知识记忆体,同时结合注意力机制与循环神经网络对时序问题的特征编码,帮助理解问题中的潜在时序信息,并更加全面地对问题中时序信息的交互进行建模。该方法被应用在事实问答任务中,实验证明了知识记忆体能够帮助更好地学习时序问题之间的时序信息及其时序交互。
提出一种知识增强的多角色问答时序交互学习方法。该方法通过刻画问答对话中的不同角色,学习角色的主观特点。同时利用层级循环神经网络对问答对话内容进行编码,逐层捕捉对话中的时序信息。除此之外,该方法使用注意力机制,为问答对话中,问题与问题、问题与答案以及答案与答案之间的时序交互进行建模。在上述的每一个环节中,该方法使用了外部知识用于增强模型的理解与联想能力。该方法被应用在司法领域的问答对话摘要生成任务中,实验结果证明了该方法能够有效地学习问答时序数据的时序交互。
一般而言,问答时序数据中丰富的内隐交互信息可以分为结构时序交互和语义时序交互。结构时序交互表示文本中单词与单词、句子与句子因存在相对位置关系而产生的相互影响(如常见的n.gram语言模型等),语义时序交互则更多地体现了文本上下文中所包含内容之间的相互影响(如问答中后序答案会受到前序已有答案和问题本身的影响等)。近年来,循环神经网络模型被广泛应用于时序数据处理,取得了较好效果。这类方法通过“编码.解码”架构先对输入端时序序列数据进行编码,将其映射到隐式空间,然后再进行后续的分类、回归等任务。但是,在循环神经网络方法中融入如前所述的结构时序交互和语义时序交互仍然面临挑战。
具体而言,在问答研究领域中,将循环神经网络应用于分析和处理问答时序数据,面临如下两个方面的挑战:(1)辅助信息支持下的问答时序信息理解。在问答时序数据理解过程中,可利用问答数据之外的辅助性信息,如不同问答场景下已存在的额外信息、问答者的角色特点、问答内容所涉及的客观知识等。利用这些辅助性信息,将可以帮助理解问答时序数据;(2)问答时序信息之间的复杂交互。在问答时序数据中,通常问题与问题、问题与答案、以及答案与答案之问有着丰富的时序交互,比如问题本身影响着答案的内容,前序答案会影响后序答案的形成等。这些时序交互随着时间的推移变得愈发复杂。因此,对问答时序数据中所包含的交互关系进行建模,能够帮助更全面地理解问答时序数据。
为了克服上述难点,本文对问答时序数据学习进行了深入研究,从时序交互建模、额外信息支持、外部知识增强、问答角色刻画等方面,解决传统时序模型难以在问答场景中构建问答时序交互问题,提升模型对问答时序数据的理解,并运用到实际应用中,在不同问答任务中提升模型的预测能力。具体而言,本文的工作主要有如下几个方面:
提出一种数据驱动的问答时序交互学习方法。该方法将注意力机制与循环神经网络相结合,对大量给定问答时序数据进行学习。该方法利用注意力机制,对问答过程中问题与答案、答案与答案之间时序交互的强弱进行建模。该方法成功应用在答案质量评价任务中,通过实验对比证明了问答场景下时序交互建模的有效性。
提出一种额外信息支持的问答时序交互学习方法。不同于传统的基于循环神经网络的时序模型,该方法利用记忆网络的结构特性,构建拥有更强记忆与联想能力的深度时序记忆网络。该方法根据用户的历史提问构建问答场景下的额外信息,识别用户问题所涉及领域,并使用记忆网络存储额外信息,帮助更好地理解问题意图。同时该模型的循环结构可以对问题与类别标签、多个类别标签之间的时序交互进行建模。该方法被应用在问题多标签推荐任务中,基于更强的记忆与联想能力,该方法取得了很好的效果。
提出一种结合知识记忆体的问答时序交互学习方法。该方法利用知识增强的方式提升问答的准确性,利用记忆网络对问题所涉及外部知识进行挑选、存储和分析,形成知识记忆体,同时结合注意力机制与循环神经网络对时序问题的特征编码,帮助理解问题中的潜在时序信息,并更加全面地对问题中时序信息的交互进行建模。该方法被应用在事实问答任务中,实验证明了知识记忆体能够帮助更好地学习时序问题之间的时序信息及其时序交互。
提出一种知识增强的多角色问答时序交互学习方法。该方法通过刻画问答对话中的不同角色,学习角色的主观特点。同时利用层级循环神经网络对问答对话内容进行编码,逐层捕捉对话中的时序信息。除此之外,该方法使用注意力机制,为问答对话中,问题与问题、问题与答案以及答案与答案之间的时序交互进行建模。在上述的每一个环节中,该方法使用了外部知识用于增强模型的理解与联想能力。该方法被应用在司法领域的问答对话摘要生成任务中,实验结果证明了该方法能够有效地学习问答时序数据的时序交互。