随着人工智能的飞速发展,人机交互的形态也在发生着变化,人机对话开始出现在我们生活的方方面面,深度学习的飞速发展更是将人机对话任务向前推进了一大步。人机对话任务的研究不仅仅在学术界产生了大量的成果,也在我们的生活中生根发芽。然而即使在对话技术日新月异的现在,如何对对话系统回复质量进行评价还是一个没有被完全解决的问题。本文通过对不同对话系统任务的分析和研究,结合现有的对话系统回复质量评价指标和方法,分别对不同的对话系统类型进行了不同的评价实验,通过合理的数据集构造和实验设计,将目前的对话系统回复质量评价方法做了一系列的总结和归纳。在总结归纳的基础上,本文还提出了新的对话系统回复质量评价方法,通过对不同类型对话系统回复质量评价的方法总结,探讨了目前对话系统回复质量评价的现况和存在的问题,并针对一些问题提出了新的解决思路。本文针对任务型对话系统回复质量评价进行了尝试性的实验并取得了较好的结果,构造的数据集来源多样,从而可以在一定程度上可以实现对模型的迁移和重构,此外还针对任务型对话系统的特征进行了选择和实验,从更细节的角度探索了任务型对话系统回复质量评价的方法。针对开放域对话系统回复质量评价,本文首先对现有的客观评价指标进行了实验,并针对现有的指标设计了可以有针对性测试的数据集,最终发现了现有评价指标的问题并用实验验证了这一猜想。此外还针对开放域对话系统回复的特点通过机器学习的方法进行了实验和总结,不仅如此,本研究还通过设计深度学习的模型来实现了对开放域对话系统回复质量的即时评价,并通过实验证明了这种方法的可行性。