人工智能的浪潮推动着对话系统技术的发展,对于一个智能的对话系统来说,理解用户说话的语义信息自然成为了第一要务,然而自然语言有很大的灵活性和歧义性,想要准确地把握语义信息就必须挖掘语义的特征。本文先研究了单轮对话的语义理解,观察到非槽信息(Non-Slot Information)对单轮对话的语义理解具有重要影响。进一步地,当对话轮数变多时,非槽信息分散在对话上下文历史中,多轮对话的语义理解问题需要从对话上下文历史信息中提取有用信息,本文研究了多轮场景下的语义理解问题,使用记忆位置编码(Memory Position Encoding)和记忆门机制(Memory Gate)来解决历史对话信息利用问题,具体工作如下:首先,本文先研究了单轮对话的语义理解问题。根据非槽信息特征对于语义理解的影响提出MTNSA(Multi-Task Non-Slot Attention)模型,MTNSA模型使用外部预训练模型BERT作为语义信息的编码器,通过对非槽信息的解码,利用自注意力机制强化非槽信息来提升语义理解能力。作为一个多任务联合模型,MTNSA可以同时进行领域分类、意图识别和槽填充三个任务。最后通过实验验证了非槽信息有助于增强语义理解能力。其次,领域、意图和槽之间具有显式的约束关系,本文提出了Mask掩码方法,通过统计的方式将领域、意图和槽之间的显式约束关系表征成独热编码(One-Hot)的掩码向量,在多任务模型输出的概率分布向量上,利用Mask掩码向量来将无关项排除,再取概率分布向量上最大值对应的位置来获得标签。通过与多个经典方法的叠加实验验证了Mask掩码方法对于整句正确率具有提升效果。进一步的,当对话轮数变多时,影响当前语句识别的非槽信息分散在了历史对话上下文中,想要准确地进行槽填充和意图识别就要对历史对话中的信息进行选择提取。本文采用基于记忆网络的方法编码存储和利用历史信息,并改进传统记忆网络中记忆顺序信息丢失的问题,把记忆的位置编码引入外部记忆存储中,利用位置编码强化记忆的逻辑性,赋予不同位置的历史记忆不同的权重,利用注意力机制从位置信息强化后的记忆中通过加权求和的形式获得上下文信息向量,并通过设置记忆的门机制过滤上下文信息向量中的噪声数据。实验证明了引入位置编码和记忆门机制对上下文语义的理解具有有效性。