对话系统是人机交互领域的研究热点,具有较高的使用价值和广泛的应用发展前景,融入情感的对话能极大地提高人机交互的自然性和流畅性。情感对话生成任务是对话系统中一项非常具有挑战性的工作:纯文本信息难以表征准确的情绪状态和复杂的语境;对于多人对话场景,使用传统Seq2Seq结构很难准确表征和建模;目前在情感对话生成领域的研究主要集中在指定情绪的回复生成,与真实场景不符,对上下文和语境等信息利用较少;现有的大多数模型不能充分理解个性和感知上下文信息,因此可能存在内容前后不一致、情绪转变僵硬、说话人个性缺失、生成的回复质量不高等问题。针对以上问题,本文开展了多项研究工作:1.基于异构图引入多源信息并用于非指定回复情感的多方情感对话生成任务。使用图结构更容易表示多方对话信息流,且有助于模型理解上下文和语境信息。目前的在情感对话生成任务领域,对异构图的研究与应用较少,本文将包括面部表情和声音信息等多源信息引入异构图并对多方对话场景进行建模,使得模型通过理解上下文和语境等信息,能处理多人对话场景且无需指定回复情感类型,最终实现准确预测不同说话人的情绪和生成高质量的情感响应。2.设计并提出了一种新的Graph2Sequence模型。本文以对话历史、声音、表情和个性等多源信息为节点,使用异构图神经网络进行编码,同时引入HGT并提出了相对关系编码,来帮助模型对不同类型的节点和边动态建模并降低模型的参数量,进一步帮助模型充分理解上下文与说话人个性等信息并准确的预测说话人的情绪。另外,本文引入注意力机制提取异构图上下文信息,并提出了一种受个性影响的情绪表达建模方法,结合改进后的GRU动态生成不仅与上下文更加相关且更加符合说话人个性的情感对话。本文以MELD和Daily Dialog为数据集,结合多种评价指标,进行了充分的对比实验,实验结果表明本模型能准确的预测说话人情绪,且生成的回复质量在流畅性、相关性、多样性和情感相关与准确性等多方面均优于传统模型。3.设计并实现了一套多模态情感对话系统。现有的大多数对话系统都只支持文本形式的对话,而且既不支持多人对话场景也少有支持情感对话。针对上述问题,本系统结合了声纹识别、人脸特征提取、语音识别等技术,支持以对话视频为输入,自动解析识别用户身份、提取并编码表情与语音信息特征,结合本文提出的模型,最终预测合适的情绪并回复恰当的情感响应。通过实验和测试,该系统能达到预期效果且具有良好的可扩展性。