口语对话系统(Spoken Dialogue System,SDS)的设计目标是让人们与计算机能够通过口语交流。口语理解是将人们所说的口语转换成计算机可以理解和可操作的标签序列,从而对用户的请求做出回答。因此口语对话系统的性能在很大程度上取决于口语理解(Spoken Language Understanding)模块。口语理解通常包含两个任务:意图识别和槽值填充。意图识别被视为分类问题,槽值填充被视为是序列标注问题。而在口语理解中,目标词的上下文信息对预测其标签至关重要,相同的词如果拥有不同的上下文信息,那么这个词所对应的的标签也会有所不同。循环神经网络RNN对于处理序列化数据十分的擅长。RNN是通过单词的输入顺序从而间接的学习到上下文信息,当句子过长时RNN很难捕获单词在句子中的上下文信息。虽然通过为目标词添加词窗的方法能够使RNN获取目标词的上下文信息,但是使用添加词窗的方法在RNN模型上包含的上下文信息是十分有限的。为了对单词上下文进行建模,我们使用时延神经网络对序列进行建模。我们通过增加TDNN的网络层数,从而获取更广的上下文信息。然而随着网络层数的加深,梯度消失是不可避免的问题。残差连接和梯度剪切是解决梯度问题的两种主要的方法。受残差网络的启发,我们在多层TDNN中加入残差结构,命名为Res TDNN。Dense Nets以前馈的方式将每一层输出连接到其他层,从而缓解梯度消失问题。受Dense Nets的启发,我们提出了以一种前馈的方式连接特定的TDNN层的输出,该网络被称为SC-TDNN。在Res TDNN中,不同的TDNN层的输出将被跳过相加,而SC-TDNN重新利用了目标词在不同TDNN层的特征表示。这样SC-TDNN能够获取更丰富的上下文信息,并且大大减少了模型的参数量。在航空旅行信息系统(ATIS)和SNIPS基准数据集上进行的槽填充任务实验表明,Res TDNN和SC-TDNN均获得了很好的效果,并且在与RNN结合之后显著地提升了RNN模型的效果。