论文部分内容阅读
教会机器理解人类语言是很难以捉摸的任务,这是人工智能长期面临的挑战,同时,这已经成为工业界和学术界重要的研究领域。如何建立人工智能系统来阅读和理解文本并且回答问题,这是目前自然语言处理核心任务,而提供高性能的阅读理解系统将是问答和对话等应用的关键性技术之一。近些年来,随着人工智能技术如火如荼的发展以及计算资源的充分提升,人工智能展现出强大的生命力,而使用神经网络的方法实现机器阅读理解模型是目前流行的趋势,同时,机器阅读理解的任务需要有很强的自然语言理解和语义解析的能力。在目前主流的模型大部分基于分层的网络结构,在不同的层采用不同的策略。它们分别是表示层、融合层、结果层,其中融合层是最重要的组成结构。本文对阅读理解模型算法做了以下改进:(1)本文的机器阅读理解模型,在实现的模型表示层上,使用的是基于动态词向量表示,目前传统词向量是静态词向量,它是基于上下文无关的语义特征,无法解决一词多义的问题,同时,无法根据上下文生成不同的词向量。为此,本文使用当前主流的预训练的语言模型训练得到的动态词向量,结果表明,表示层对最后模型的效果均有提升。(2)其中在融合层上,本文的模型使用基于双向注意力机制对文本和问题编码进行深度融合,相比较传统的交互层比较简单且融合的关联性比较弱,导致模型的效果较差。本文开始把双向注意力机制进行融合,而且本文的模型还在此基础上引入自注意力机制进一步加强文本的表特能力。结果表明,通过融合层的交互具有更高的语言理解能力,同时可以提高模型预测的效果。(3)最后,在模型的输出层上,本文使用基于条件随机场的进行模型的预测,同时在两个公开数据集的验证集上进行测试,分别有答案和无答案的数据集上测试并做对比,结果表明,模型在实验效果上均有提升。