文本分类是自然语言处理领域中比较热门和经典的任务,该任务是给一段文本打上一个或多个预定义的标签。文本中的上下文信息很重要,不同的词通常需要不同大小的上下文,现有的文本分类方法中包含了多种对上下文信息建模的方式。传统的方法使用了n元语法特征结合机器学习模型,在深度学习飞速发展的今天,许多深度模型也建模了上下文信息,用于文本分类任务,它们可以大致分为以下几类:基于卷积神经网络（Convolutional Neural Networks,CNNs）的模型,基于循环神经网络（Recurrent Neural Networks,RNNs）的模型和基于自注意力机制的模型,其中,后者包括了基于普通全局自注意力机制和局部自注意力机制的模型。然而,基于CNNs或者局部自注意力机制的模型大多提取固定尺度的上下文特征,无法满足不同词所需不同大小上下文的需求,而基于RNNs或者普通自注意力机制的模型都没有直接建模多种尺度的上下文信息。基于此,本文将在文本分类中的上下文建模方面做进一步的探索,主要研究工作包括:1.本文提出了一种可形变自注意力（DSA）网络,该模型可以对文本中不同的词自适应地学习不同大小的上下文特征。首先,该模型利用可变形局部注意力权重生成（Deformable Local Attention Weight Generation,DLAWG）模块为句子中不同的词学习到不同尺度的局部注意力权重,从而得到上下文特征。接着,模型进一步提取多种范围的局部上下文特征。接下来,这些多种范围的上下文特征被输入到多范围特征融合（Multi-Range Features Integration,MRFI）模块,该模块增强了来自不同范围特征中具有判别性的特征,删除或者削弱了一些语义互相冲突的特征,融合各种特征得到整个句子的特征表示。最后,该特征表示被输入到输出层进行文本的分类。提出的模型在25个数据集上和现有模型相比,取得了最好或者相当的结果。结合预训练模型,进一步提升了模型的效果。2.对DSA模型进行了深入的分析。首先,对模型的变体分析,消解实验证明了模型各模块的效果。接着,与其他自注意力模型的可视化分析证明了模型可以学习到其他模型无法学习的可变的上下文特征。对多范围特征的可视化和上下文词的分析进一步说明了模型可以提取到不同范围的上下文特征,结合这些特征,可以更好的对文本分类,验证了所提出模型的有效性。