随着深度学习浪潮的不断发展,自然语言处理任务基于其多样性和灵活性的特色,许多的课题不断被提出,并通过神经网络的方法得以解决。缺失代词补全是众多任务中的一个分支,该任务目的是在句子中判断缺失代词的位置并且还原相对应的正确的代词类别,从而解决计算机理解人类语言进程中关键性语义缺失的难题。针对缺失代词补全问题,传统解决方案包含特征工程、构建条件随机场、神经网络等。在实际应用中,这些方法均无法针对缺失代词位置获取上下文句子中长依赖的文本信息。在这个背景下,我们基于对缺失代词背景语义知识的理解,提出两种不同的模型对于缺失代词上下文语义背景知识建模,并且通过注意力机制热图,对于本文模型训练的特征附加了可视化的解释。实验结果证明我们的模型在与传统模型的对比上来看表现良好。本文针对缺失代词补全问题的研究,主要工作内容列举为以下三点:(1)本文提出了基于主题模型的记忆力网络。在神经网络基础上加入无监督主题模型。主题模型可以很好地对于上下文语义信息进行概括和提取,同时主题模型基于全语料提取到的主题词也有很大概率表达了缺失代词的指示信息,充当缺失代词的指示词。本文在中文短信服务数据集上验证模型的有效性,同时将多维注意力机制的结果进行可视化和分析。(2)本文提出了融合外部知识的神经注意力模型。通过构造自上而下的“句子-词语”注意力机制,对于上下文语义信息进行不同粒度的编码,在这过程中加入常识信息。实验在三个中文对话数据集上的表现均优于传统方法;并且通过消融实验,验证了加入外部指示词信息和层级式的代词分类标准对于结果的提升;最终通过注意力热图的分布情况,验证了模型训练过程中,对于缺失代词在上下文语义信息的指示情况。(3)本文在两种模型神经网络端到端框架的基础上,找到了加入外部知识的训练方法。外部知识包含主题模型中的代词特征信息、神经注意力模型中代词指示词信息,和代词对上下文的依赖信息。