随着互联网的高速发展,网络上出现越来越多的非法信息,比如色情、暴力、毒品等信息,如何检测出这些非法信息成为当下重点研究问题。非法信息分类属于自然语言处理中的文本分类任务,但是与传统的文本分类相比,网络搜索query文本存在着噪声多、长度短、新词多等特点,所以如何构建出高效的文本表示模型和文本特征提取模型是一个研究的重点。文本分类技术涉及到自然语言处理、数据挖掘等领域的许多技术。影响文本分类准确度的因素有许多,包括文本的预处理、文本特征表示、特征选择以及分类器的选择和优化等。传统的文本表示方法,如布尔模型、向量空间模型,存在数据稀疏和维数灾难等问题。为了进一步挖掘文本中隐藏的信息,出现了基于神经网络的分布式向量表示方法,如word2vec,这种分布式向量仅仅包含了词的语义信息,忽略了词的属性信息,同时这种特征提取方法忽略了文本的结构信息。基于上述的研究,做了如下工作:(1)对文本特征表示模型进行了改进,提出了集成多种特征的文本表示模型(LMCW)。该方法首先利用word2vec工具在搜索query数据集上训练出包含语义信息的分布式词向量,接着使用词汇的互信息对词向量加权,同时再利用word2vec工具在维基百科数据集上训练出分布式字向量,接着利用先验知识和词汇的属性抽象的表示出文本信息,最后对三种向量进行集成拼接,形成包含语义信息、词汇属性信息以及外部信息的向量。通过在SVM分类器上的测试,验证了模型的有效性。(2)在方法(1)的基础上提出了两种文本特征提取方法:基于LMCW与Transformer的文本特征提取模型(LMCWT)和基于LMCWT和CNN的文本特征提取模型(LMCWT-CNN)。LMCWT模型在LMCW文本特征表示方法的基础上,通过Transformer编码器对搜索query文本提取上下文信息,训练出包含语义信息、词汇属性信息、外部信息的向量以及上下文信息的特征向量。基于LMCWT和CNN的文本特征提取模型在LMCWT模型所表达的特征向量基础上,通过引入CNN网络提取搜索query文本的结构信息,从而学习到文本局部信息,实现了从多个层次、多个角度对文本进行了特征提取。通过在搜索query数据集上的测试,LMCWT-CNN模型与其它分类模型相比,分类效果有较大提升,且比LMCW模型更进一步提升了文本分类的准确度。