实现人和计算机使用自然语言进行交互,是自然语言处理领域的一项重要工作。随着人工智能技术的发展,尤其是深度神经网络的广泛应用,构建基于开放领域的对话系统已经越来越受到人们的关注。互联网的快速的发展,累积了大量对话数据,使得由数据驱动的对话模型成为可能。目前的对话任务,大多仍然在生成式任务的大框架之下,而生成式任务一般都是序列到序列的。端到端的编码器-解码器模型是用于解决序列到序列任务的重要机制,对编码器-解码器模型的扩充和修改,使之应用于对话任务,是目前对话模型领域的主流做法。本文在编码器-解码器模型的基础上,提出新的修改和补充,使之应用于单轮对话和多轮对话任务。（1）对于单轮对话任务,针对一般的基于RNN的编码器-解码器模型无法很好地生成多样性和准确性回复的问题,本文提出融入顺序位置信息的增强注意力机制。经过RNN结构处理的序列信息带有顺序位置信息,同时又对序列信息进行了序列内部的注意力计算,这形成了一种增强的注意力,充分表达了序列内部丰富的信息关联,促进了多样性回复的生成。在解码时,增强注意力的计算,使得每一步生成预测时,能够按权重参照已生成序列信息,这提高了 RNN结构解码时对对话序列后端预测的准确性。接着,在Transformer的结构的基础上,针对其对顺序位置信息获取的不足,提出增加一个顺序位置信息模块,然后将模型运用于单轮对话任务。（2）对于多轮对话任务,针对多轮对话有效数据较少且模型结构过大,可能导致训练效果不好,在原有的层次循环编码器-解码器模型的基础上,提出对模型进行自编码预训练。在预训练中,利用变分自编码器的隐变量机制使得模型能够预先学习到大量普通对话内部多样的语义信息。正式训练时,虽然隐变量的加入增加了语义空间的多样性,使得在解码时有更多的随机性选择以生成多样性的回复,但是只有随机性也使得生成的回复存在随意性和信息不匹配的问题。针对这一问题,改进的模型向隐变量加入特定的背景条件信息,如主题或者目的等信息,以达到在全局随机性中增加一些局部确定性因素。这些操作使得模型能够充分获取对话数据的内部语义信息,同时生成相关性更强的内容。