论文部分内容阅读
问答系统作为一种重要的人机交互方式,以自然语言的形式直接且准确地回答用户问题,逐渐在信息检索、智能服务等应用中展示出更有效的性能表现。同时,由于深度学习的发展及计算能力的提高,问答系统任务中也引入了更多的深度学习技术,促使该领域逐渐从基于特征工程或浅层语义分析的信息检索向基于深度理解的智能问答转变。其中,利用自然语言处理技术表示人类语言,并对其进行语义理解和知识推理仍是当前问答系统研究工作的重点及难点。本课题选择能够捕获用户问题和相关文章间深层语义联系的机器阅读理解模型作为问答系统的深层神经网络,以端到端的方式设计实现一个阅读理解型问答系统,并对该问答系统中的部分关键问题进行深入研究,利用深度学习中的预训练语言模型、注意力机制等技术来改进问答系统。最终较大幅度地改善了问答系统的知识来源、上下文建模与知识表示、语义理解等多个方面,有效地提升了问答系统的性能。本课题的研究工作如下:(1)文本表示方面,提出了基于多阶段特征融合的文本表示方法。首先详细分析了中文汉字的造字特点以及现有中文表示模型的局限性,提出了适合汉字表示学习的形态学n元组中文表示方法;接着,从语法范畴和预训练语言模型中提取不同粒度的特征向量,作为原始文本的语法和外部知识补充,并采用多阶段特征融合的方式对不同粒度的特征向量进行融合。最后,通过实验验证了基于形态学n元组的中文表示方法的优越性以及多阶段特征融合方法的有效性。(2)语义理解方面,提出了基于层次注意力机制的机器阅读理解模型HANet,形象地模拟人类由浅到深的理解过程。该模型将不同种类的注意力机制应用于多个网络层中,实现了在不同的粒度级别上捕获问题和文章之间的关系,逐渐将注意力集中在最佳答案边界部分,最后通过推敲细节预测出正确的答案。通过在不同数据集上进行多组实验,验证了该模型的有效性。(3)应用方面,以端到端的方式设计并实现了一个基于深度神经网络的问答系统,为电子科技大学校友提供实时的问答服务。该问答系统基于(1)(2)中提出的方法模型构建,并通过微信和Web网页两种方式与用户进行交互。用户在任一客户端上提交问答请求,问答系统将向用户返回简短且准确的问答结果。