近年来,人工智能技术发展迅猛,不少成熟的商业产品已经在我们身边切实落地。在人工智能技术中,自然语言处理是一项至关重要的技术手段,它可以有效帮助计算机理解人类的自然语言,进而进行有效的人机交互或是数据挖掘。因此,自然语言处理技术在这数十年来被广泛关注,并且进行了大量的研究。自然语言处理中包含了许多研究方向,包括机器翻译,它是一种语言互译的系统,用以帮助不同语言的人群得以方便交流;自动问答系统,它是一种人机交互系统,用以与用户交流,快速帮助客户解决相应领域的问题。在本文中,我们着重于自然语言处理中的序列标注的任务。序列标注技术主要用于语义分析、命名实体识别等语义理解任务中。通过序列标注技术,可以有效从句子中抽取出相对应的成分,帮助计算机理解句子组成。在一个自然语言处理任务中,序列标注技术往往是一个预处理步骤,其性能的好坏直接影响着下游任务的性能。所以,构建一个高效的序列标注模型至关重要。在这个动机下,本文首先提出了一种层次注意力的神经网络半马尔可夫条件随机场模型。该模型使用层次结构来结合字符级别和字级别信息,并将注意力机制应用于两个层次。我们在三个序列标注任务上评估了提出的模型,验证了模型的性能表现和鲁棒性。其次,在本文中,我们研究了编码模式对于序列标注任务的性能影响。在本研究中提出了两个隐变量条件随机场模型,以编码模式为隐变量,用来捕捉观测序列和隐藏序列之间的关系。第一个提出的隐变量条件随机场I模型能够为每个给定的输入序列自动选择最佳编码模式。第二个提出的隐变量条件随机场II能够自动为输入句子中的每个单词选择最佳的编码模式。我们依旧在三个序列标注任务上评估提出的模型,验证以编码模式作为隐变量的有效性。最后,在本文中,我们研究了实体抽取和分类任务,并提出神经网络编码超图模型。我们提出的模型能够有效地捕获无限长度的嵌套结构实体,并且将所提出的超图模型和神经网络相结合,使得模型具有高度可扩展性,在具有良好性能的同时,该模型的时间复杂度与输入句子中的词的数量和可能的标注类别的数量是线性相关的。本文通过多个标准数据集进行实验,以证明我们模型的有效性。